CN116188332A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116188332A CN116188332A CN202310481422.4A CN202310481422A CN116188332A CN 116188332 A CN116188332 A CN 116188332A CN 202310481422 A CN202310481422 A CN 202310481422A CN 116188332 A CN116188332 A CN 116188332A
- Authority
- CN
- China
- Prior art keywords
- image
- sample image
- training
- network
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000005764 inhibitory process Effects 0.000 claims abstract description 12
- 230000001629 suppression Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000010410 layer Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Control Of Exposure In Printing And Copying (AREA)
Abstract
本申请公开了一种图像处理方法、装置、设备及存储介质，方法包括：利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数；其中，样本图像对应的校正图像和每次训练获得的样本图像的光照估计作为下一次训练的输入；校正图像为利用样本图像与对应的理想图像在颜色通道方向进行叠加得到的；利用训练好的残差网络对待检测物体的原始图像进行处理，获得待检测物体的光照估计，根据Retinex理论，根据待检测物体的原始图像与光照估计获得待检测物体的增强图像。本申请提供的图像处理方法，只在训练残差网络的参数时进行过曝抑制，当实际使用对待检测物体进行缺陷检测时，不需要再过曝抑制，效率可以显著提高。
Description
技术领域
本申请涉及质量检测技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
目前，很多产品出厂前需要进行合格检测，例如机械零件，需要检测是否存在缺陷。一种简便的方式为获得待检测物体的图像，通过图像观察物体表面是否存在异常区域，即进行缺陷检测。
由于实际工程中进行产品检测时，经常会出现光源不稳导致的图像亮度偏移或者产品结构导致的阴影遮挡等图像亮度不统一的情况，对缺陷检测产生干扰，降低产品缺陷检测的准确度。
发明内容
有鉴于此，本申请提供一种图像处理方法、装置、设备及存储介质，能够提高图像的亮度，从而提高待检测物体的缺陷检测准确度。
第一方面，本申请提供一种图像处理方法，包括：
利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数；其中，样本图像对应的校正图像和每次训练获得的样本图像的光照估计作为下一次训练的输入；校正图像为利用样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
利用训练好的残差网络对待检测物体的原始图像进行处理，获得待检测物体的光照估计，根据Retinex理论，根据待检测物体的原始图像与光照估计获得待检测物体的增强图像。
第二方面，本申请还提供一种图像处理装置，包括：
残差网络的参数获得单元，用于利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数；其中，样本图像对应的校正图像和每次训练获得的样本图像的光照估计作为下一次训练的输入；校正图像为利用样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
增强单元，用于利用训练好的残差网络对待检测物体的原始图像进行处理，获得待检测物体的光照估计，根据Retinex理论，根据待检测物体的原始图像与光照估计获得待检测物体的增强图像。
第三方面，本申请还提供一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有计算机程序指令，处理器执行计算机程序指令时实现以上介绍的方法中的步骤。
第四方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时实现以上介绍的方法中的步骤。
由此可见，本申请具有如下有益效果：
本申请提供的图像处理方法，利用残差网络来获得光照估计，为了准确得到光照估计，需要对残差网络的参数进行多级训练。而且为了在图像增强时，不过度增强，即不过度曝光，本申请提供的图像处理方法，还在参数训练过程中加入了过曝抑制，可以抑制光照增强不断扩大的趋势，保证增强后的图像不会失真，提高增强后的图像的准确性。本申请提供的图像处理方法，只在训练残差网络的参数时进行过曝抑制，当实际使用对待检测物体进行缺陷检测时，不需要再过曝抑制，效率可以显著提高。
附图说明
图1A为Retinex理论的示意图；
图1B为本申请实施例提供的一种图像处理方法的场景示意图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例提供的一种神经网络训练原理图；
图4为本申请实施例提供的一种图像增强的原理图；
图5为本申请实施例提供的一种待检测物体的图像增强之前的示意图；
图6为本申请实施例提供的一种待检测物体的图像增强之后的示意图；
图7为本申请实施例提供的一种图像处理装置的示意图；
图8本申请实施例提供的一种计算机设备的结构示意图；
图9为本申请实施例提供的另一种计算机设备的结构示意图；
图10为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，先介绍本申请实施例提供的技术方案基于的一种算法。
Retinex算法-一种颜色恒常知觉的计算理论，Retinex是一个合成词，是Retina（视网膜）+Cortex（皮层）的合成。
Retinex是建立在以下的基础之上的：
第一、真实世界是无颜色的，所感知的颜色是光与物质的相互作用的结果；水是无色的，但是水膜或肥皂膜却是显现五彩缤纷，那是薄膜表面光干涉的结果。第二、每一颜色区域由给定波长的红、绿、蓝（RGB）三原色构成。第三、三原色决定了每个单位区域的颜色。
Retinex主要包含以下两个方面的内容：物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的。物体的色彩不受光照非均性的影响，具有一致性。
为了使本领域技术人员更好地理解和实施本申请实施例提供的技术方案，下面先结合附图介绍该技术方案的应用场景。
参见图1A，该图为Retinex理论的示意图。
物体的颜色不是由反射光强度的绝对值决定的，并且物体的色彩不受光照非均匀性的影响，具有一致性。
人眼（或者相机）得到的图像数据取决于入射光和物体表面对于入射光的反射。如图1A所示，P(x，y)是最终得到的图像数据，物体先由入射光照射，然后经由反射物体R的反射进入成像系统，最终形成看到的图像，该过程可用如下公式表示为：
其中，
表示接收到的图像信号，即原始图像，待增强之前的图像，/>
表示光照估计，即环境光的照射分量(illumination)，/>
表示携带图像信息的目标物体的反射分量(reflection)，即可以理解为理想图像。
由Retinex理论可知，只要获得准确的光照估计
就可根据以下公式（1）获得理想图像/>
。
本申请实施例提供的图像处理方法，利用残差网络来获得光照估计，为了准确得到光照估计，需要对残差网络的参数进行多级训练。而且为了在对图像增强时，不过度增强，即不过度曝光，本申请实施例提供的图像处理方法，还进行了过曝抑制，可以抑制光照增强不断扩大的趋势。
传统中为了抑制图像增强工程中过度增强是通过人工标注参数，标注过程中需要不断试验新的参数，反复很多次才可以得到满足要求的参数。这样反复尝试的次数较多，而且试验得到的参数不能适用于各种不同的光照，例如高低强度不同的光照，每种光照需要重新进行试验，也可以理解为针对每个待检测物体的图片都需要重新进行试验，显然效率低。
但是，本申请实施例提供的图像处理方法，只在训练残差网络的参数时进行过曝抑制，当实际使用对待检测物体进行缺陷检测时，不需要再过曝抑制，而且该图像增强的方法普适性好，适用于各种不同强度的光照，不必对应不同的光照重新训练，显然本申请提供的方法在图像处理时，效率可以显著高。
本申请实施例提供的编织物的缺陷检测方法，可以应用于如图1B所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
参见图2，该图为本申请实施例提供的一种图像处理方法的流程图，以该方法应用于图1B中的终端102或服务器104为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种，该方法包括：
S201：利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数；其中，样本图像对应的校正图像和每次训练获得的样本图像的光照估计作为下一次训练的输入；校正图像为利用样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
其中，残差网络包括两个输入量，即本次的样本图像和本次的光照估计，输出量为下一次的光照估计。应该理解，对于下一次训练来说，输入的样本图像就是本次训练得到的校正图像，校正图像是通过过曝抑制网络训练得到的。
校正图像参与残差网络的训练是为了得到更加准确的残差网络的参数。
预设次数可以根据实际需要来设置，可以为一次，也可以为多次。
第一次训练时，对于初始值，残差网络的两个输入量是原始图像，即第一次样本图像就是原始图像，光照估计为0。
在训练校正图像时，输入量包括两个，即样本图像的原始图像和前一级残差网络训练的输出量光照估计，过曝抑制每次训练都使用原始图像。过曝抑制的输出量为校正图像。
利用残差网络输出的光照估计和过曝抑制网络输出的校正图像，便可以获得对应的理想图像，即本申请实施例提供的方法，将获得理想图像的过程转换为获得光照估计的过程，得到光照估计再根据原始图像，便可以获得原始图像对应的增强图像。
S202：利用训练好的残差网络对待检测物体的原始图像进行处理，获得待检测物体的光照估计，根据Retinex理论，待检测物体的原始图像与光照估计获得待检测物体的增强图像。
具体地，待检测物体的原始图像与待检测物体的光照估计的比值作为待检测物体的增强图像。Retinex理论为理想图像等于原始图像与光照估计的比值。
为了使本领域技术人员更方便地理解本申请实施例提供的图像处理方法，下面结合原理图进行详细介绍。
参见图3，该图为本申请实施例提供的一种神经网络训练原理图。
其中，以E表示残差网络，即以上的残差网络；以S表示过曝抑制网络。E可以利用卷积神经网络来实现，S可以利用自注意力神经网络来实现。
残差网络E主要逐级式进行光照估计的优化；其中，
表示第t级的图像输入，/>
表示第t级的网络光照估计与理想光照估计的差值，/>
与/>
相加得到第t+1级的光照估计/>
。t为从0开始的整数。
利用残差网络对样本图像进行训练，获得样本图像的光照估计，具体包括：
根据样本图像获得残差网络的初始参数
；
根据残差网络的初始参数
和样本图像获得光照估计误差/>
；
根据上一次的光照估计
和光照估计误差/>
获得下一次的光照估计/>
。
过曝抑制网络S的输入为原始图像P以及理想图像
，两者颜色通道方向叠加，输出为校正图像/>
。
根据Retinex理论可以得知物体的色彩不受光照的非均匀性的影响且具有一致性，通过对比理想图像
以及原始图像P可以抑制图像过曝导致的颜色失真，并获得颜色通道的校正图像/>
并和光照估计/>
一起进入残差网络E的下一层迭代。
利用残差网络对样本图像
进行预设次数的训练，得到残差网络的参数/>
；每次训练获得的样本图像的光照估计/>
作为下一次训练的输入，具体包括：
根据Retinex理论，利用残差网络对样本图像
进行训练，获得样本图像的光照估计/>
；
利用样本图像对应的理想图像
和样本图像/>
在颜色通道方向叠加进行过曝抑制，获得校正图像/>
；其中，利用样本图像对应的理想图像与样本图像在颜色通道方向叠加进行过曝抑制，获得校正图像，具体包括：将样本图像对应的理想图像与样本图像在颜色通道方向进行叠加，获得过度曝光导致的颜色失真；利用颜色失真对样本图像进行校正，获得校正图像。
将校正图像
和样本图像/>
的光照估计/>
作为残差网络下一次训练的输入，经过预设次数的训练，得到残差网络的参数/>
；校正图像是利用样本图像与样本图像对应的理想图像在颜色通道方向进行叠加并通过自注意力神经网络训练得到的。
图3所示的残差网络E和过曝抑制网络S是级联的关系，即串联的关系。过曝抑制网络的结果约束着下一次残差网络训练的输入，同时约束着残差网络E的输出，其逻辑为残差网络E和过曝抑制网络S的损失相加决定了网络总损失，即残差网络E和过曝抑制网络S同时决定了网络的优化方向（即训练方向），当残差网络E的结果色彩失真过多时，过曝抑制网络S的损失会急剧增加，进而可以较快引导残差网络E的结果回到与输入图像相似的色彩分布。
应该理解，以上介绍的训练方式是以多次训练为例进行介绍，多层训练的参数更加精确。另外，残差网络E和过曝抑制网络S也可以只训练一次，即单层训练，不进行多层训练，这样更加节省时间。
图3所示的残差网络E和过曝抑制网络S的训练过程是为了在过曝抑制的约束下训练得到残差网络E的参数，得到残差网络E的参数以后，便可以利用残差网络获得光照估计，利用待检测物体的原始图像和光照估计，来获得待检测物体的增强图像。
残差网络E和过曝抑制网络S可以采用相同的网络结构，例如两者均采用卷积神经网络（CNN，Convolutional Neural Network）结构。另外，两者也可以采用不同的网络结构，本申请实施例不做具体限定。
应该理解，本申请实施例提供的方法，当待检测物体更换以后，该光照估计继续使用，不必进行新的残差网络训练，可以继续利用已经训练得到的参数来获得对应的光照估计。
下面结合附图详细介绍利用训练好的残差网络的参数得到增强图像的过程。
参见图4，该图为本申请实施例提供的一种图像增强的原理图。
实际应用时，该方法还包括：
通过待检测物体的增强图像，确定待检测物体是否为合格的检测结果。
当以上的残差网络和过曝抑制训练结束后，进行产品质量检测时，只需要训练好的残差网络E的参数
,不必使用过曝抑制网络，如图4所示，利用残差网络E的参数/>
，不再利用过曝抑制网络的参数/>
。
P为待检测物体的原始图像，利用训练得到的
，可以得到原始图像P对应的光照估计/>
，利用光照估计/>
和原始图像P可以得到原始图像对应的增强图像/>
。
应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参见图5，该图为本申请实施例提供的待检测物体的图像增强之前的示意图。
参见图6，该图为本申请实施例提供的待检测物体的图像增强之后的示意图。
对比图5和图6可以看出，图5为原始图像，即没有增强之前的图像，从图上看方框内部没有异常。但是，图6的增强图像可以看出，方框内存在异常，即待检测物体存在缺陷。
通过以上分析可知，利用本申请实施例提供的图像处理方法，将待检测物体的图像进行增强后，可以准确判断待检测物体是否存在缺陷，从而进行出厂前的严格把控，对于缺陷的产品进行淘汰或重新加工，以避免流入市场被退回，或造成其他事故。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
如图7所示，本申请实施例提供的一种图像处理装置的示意图。
本实施例提供的图像处理装置，包括：
残差网络的参数获得单元701，用于利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数；其中，样本图像对应的校正图像和每次训练获得的样本图像的光照估计作为下一次训练的输入；校正图像为利用样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
增强单元702，用于利用训练好的残差网络对待检测物体的原始图像进行处理，获得待检测物体的光照估计，根据Retinex理论，根据待检测物体的原始图像与光照估计获得待检测物体的增强图像。
在一些实施例中，在利用残差网络对样本图像进行预设次数的训练，得到残差网络的参数方面，残差网络的参数获得单元701具体用于：
根据Retinex理论，利用残差网络对样本图像进行训练，获得样本图像的光照估计；
利用样本图像对应的理想图像和样本图像在颜色通道方向叠加进行过曝抑制，获得校正图像；
将校正图像和样本图像的光照估计作为残差网络下一次训练的输入，经过预设次数的训练，得到残差网络的参数。
在一些实施例中，在利用残差网络对样本图像进行训练，获得样本图像的光照估计方面，残差网络的参数获得单元701具体用于：
根据样本图像获得残差网络的初始参数；
根据残差网络的初始参数和样本图像获得光照估计误差；
根据上一次的光照估计和光照估计误差获得下一次的光照估计。
在一些实施例中，在利用样本图像对应的理想图像与样本图像在颜色通道方向叠加进行过曝抑制，获得校正图像方面，残差网络的参数获得单元701具体用于：
将样本图像对应的理想图像与样本图像在颜色通道方向进行叠加，获得过度曝光导致的颜色失真；
利用颜色失真对样本图像进行校正，获得校正图像。
在一些实施例中，本实施例提供的图像处理装置，还包括：检测单元（图中未示出），用于通过待检测物体的增强图像，确定待检测物体是否为合格的检测结果。
在一些实施例中，利用残差网络对样本图像进行预设次数的训练，得到所述残差网络的参数，残差网络的参数获得单元701具体用于：利用卷积神经网络对样本图像进行预设次数的训练，得到残差网络的参数。
在一些实施例中，在获得校正图像方面，残差网络的参数获得单元701，具体用于：校正图像为利用样本图像对应的理想图像与样本图像在颜色通道方向进行叠加并通过自注意力神经网络训练得到的。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待检测物体的原始图像。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的图像处理方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的图像处理方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图10所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
利用残差网络对样本图像进行预设次数的训练，得到所述残差网络的参数；其中，所述样本图像对应的校正图像和每次训练获得的所述样本图像的光照估计作为下一次训练的输入；所述校正图像为利用所述样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
利用训练好的所述残差网络对待检测物体的原始图像进行处理，获得所述待检测物体的光照估计，根据Retinex理论，根据所述待检测物体的原始图像与光照估计获得所述待检测物体的增强图像。
2.根据权利要求1所述的方法，其特征在于，所述利用残差网络对样本图像进行预设次数的训练，得到所述残差网络的参数，具体包括：
根据所述Retinex理论，利用残差网络对样本图像进行训练，获得所述样本图像的光照估计；
利用所述样本图像对应的理想图像和所述样本图像在颜色通道方向叠加进行过曝抑制，获得校正图像；
将所述校正图像和所述样本图像的光照估计作为所述残差网络下一次训练的输入，经过预设次数的训练，得到所述残差网络的参数。
3.根据权利要求2所述的方法，其特征在于，所述利用残差网络对样本图像进行训练，获得所述样本图像的光照估计，具体包括：
根据样本图像获得所述残差网络的初始参数；
根据所述残差网络的初始参数和所述样本图像获得光照估计误差；
根据上一次的光照估计和所述光照估计误差获得下一次的光照估计。
4.根据权利要求2所述的方法，其特征在于，所述利用所述样本图像对应的理想图像和所述样本图像在颜色通道方向叠加进行过曝抑制，获得校正图像，具体包括：
将所述样本图像对应的理想图像和所述样本图像在颜色通道方向进行叠加，获得过度曝光导致的颜色失真；
利用所述颜色失真对所述样本图像进行校正，获得校正图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
通过所述待检测物体的增强图像，确定所述待检测物体是否为合格的检测结果。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述利用残差网络对样本图像进行预设次数的训练，得到所述残差网络的参数，具体包括：
利用卷积神经网络对样本图像进行预设次数的训练，得到所述残差网络的参数。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述校正图像为利用所述样本图像对应的理想图像与所述样本图像在颜色通道方向进行叠加并通过自注意力神经网络训练得到的。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述Retinex理论为所述理想图像等于所述原始图像与所述光照估计的比值。
9.一种图像处理装置，其特征在于，包括：
残差网络的参数获得单元，用于利用残差网络对样本图像进行预设次数的训练，得到所述残差网络的参数；其中，所述样本图像对应的校正图像和每次训练获得的所述样本图像的光照估计作为下一次训练的输入；所述校正图像为利用所述样本图像与对应的理想图像在颜色通道方向进行叠加得到的；
增强单元，用于利用训练好的所述残差网络对待检测物体的原始图像进行处理，获得所述待检测物体的光照估计，根据Retinex理论，根据所述待检测物体的原始图像与光照估计获得所述待检测物体的增强图像。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序指令，所述处理器执行所述计算机程序指令时实现如权利要求1-8中任一项所述的方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481422.4A CN116188332B (zh) | 2023-04-27 | 2023-04-27 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481422.4A CN116188332B (zh) | 2023-04-27 | 2023-04-27 | 一种图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188332A true CN116188332A (zh) | 2023-05-30 |
| CN116188332B CN116188332B (zh) | 2023-07-28 |
Family
ID=86434902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310481422.4A Active CN116188332B (zh) | 2023-04-27 | 2023-04-27 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188332B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN111583161A (zh) * | 2020-06-17 | 2020-08-25 | 上海眼控科技股份有限公司 | 模糊图像的增强方法、计算机设备和存储介质 |
| CN113592753A (zh) * | 2021-07-23 | 2021-11-02 | 深圳思谋信息科技有限公司 | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 |
| CN115082358A (zh) * | 2022-07-21 | 2022-09-20 | 深圳思谋信息科技有限公司 | 图像增强方法、装置、计算机设备和存储介质 |
| US20230078522A1 (en) * | 2021-09-15 | 2023-03-16 | Samsung Electronics Co., Ltd. | Method and device with image processing |
| CN115861101A (zh) * | 2022-11-29 | 2023-03-28 | 福州大学 | 一种基于深度可分离卷积的低照度图像增强方法 |
-
2023
- 2023-04-27 CN CN202310481422.4A patent/CN116188332B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919869A (zh) * | 2019-02-28 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 一种图像增强方法、装置及存储介质 |
| CN111583161A (zh) * | 2020-06-17 | 2020-08-25 | 上海眼控科技股份有限公司 | 模糊图像的增强方法、计算机设备和存储介质 |
| CN113592753A (zh) * | 2021-07-23 | 2021-11-02 | 深圳思谋信息科技有限公司 | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 |
| US20230078522A1 (en) * | 2021-09-15 | 2023-03-16 | Samsung Electronics Co., Ltd. | Method and device with image processing |
| CN115082358A (zh) * | 2022-07-21 | 2022-09-20 | 深圳思谋信息科技有限公司 | 图像增强方法、装置、计算机设备和存储介质 |
| CN115861101A (zh) * | 2022-11-29 | 2023-03-28 | 福州大学 | 一种基于深度可分离卷积的低照度图像增强方法 |
Non-Patent Citations (4)
| Title |
|---|
| LONG MA等: "Toward Fast,Flexible,and Robust Low-light Image Enhancement", 《COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 10 * |
| WEIDONG ZHANG等: "Retinex-inspired color correction and detail preserved fusion for underwater image enhancement", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》, pages 1 - 8 * |
| YE J等: "Low-light Image Enhancement Using Photometric Alignment with Hierarchy Pyramid Network", 《SENSORS》, pages 1 - 9 * |
| 陈志华等: "基于注意力机制的密集残差融合与空间局部滤波低光照去雾算法", 《计算机辅助设计与图形学学报》, pages 1842 - 1849 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188332B (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114402580A (zh) | 处理由显示器后面的相机捕获的图像 | |
| KR101873183B1 (ko) | 콘볼루션 컬러 정정 방법, 및 그 기록 매체 | |
| US20220375045A1 (en) | Learning-Based Lens Flare Removal | |
| CN115115554B (zh) | 基于增强图像的图像处理方法、装置和计算机设备 | |
| CN115330640B (zh) | 光照贴图降噪方法、装置、设备和介质 | |
| JP2019219928A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Ma et al. | Joint over and under exposures correction by aggregated retinex propagation for image enhancement | |
| CN116188332B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN115713585B (zh) | 纹理图像重建方法、装置、计算机设备和存储介质 | |
| CN116645305A (zh) | 基于多注意力机制与Retinex的低光照图像增强方法 | |
| CN108171679B (zh) | 一种图像融合方法、系统及设备 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US20230368340A1 (en) | Gating of Contextual Attention and Convolutional Features | |
| Kosugi et al. | Crowd-powered photo enhancement featuring an active learning based local filter | |
| KR101242070B1 (ko) | 변형된 영상 생성 모델을 이용한 컬러 영상 보정방법 | |
| Bi et al. | Non-uniform illumination underwater image enhancement via events and frame fusion | |
| EP4379651A1 (en) | Image processing apparatus and method of operating the same | |
| Conde et al. | NILUT: Conditional Neural Implicit 3D Lookup Tables for Image Enhancement | |
| CN117522749B (zh) | 图像校正方法、装置、计算机设备和存储介质 | |
| CN117036209B (zh) | 图像对比度增强方法、装置、计算机设备和存储介质 | |
| CN115314633B (zh) | 相机对焦方法、装置、计算机设备和存储介质 | |
| Li et al. | Tuning-free and self-supervised image enhancement against ill exposure | |
| CN117671036B (zh) | 校正参数标定方法、装置、计算机设备和存储介质 | |
| WO2024056014A1 (zh) | 图像白平衡处理方法、装置、计算机设备和存储介质 | |
| CN117115055A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |