CN110889437A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110889437A CN110889437A CN201911076364.7A CN201911076364A CN110889437A CN 110889437 A CN110889437 A CN 110889437A CN 201911076364 A CN201911076364 A CN 201911076364A CN 110889437 A CN110889437 A CN 110889437A
- Authority
- CN
- China
- Prior art keywords
- image
- recognition
- sub
- recognized
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域，用以至少解决相关技术中图像处理人力、物力成高的问题。所述方法包括：将待识别图像输入分类处理模型，得到对该待识别图像中各识别对象的识别结果和识别概率；利用反向传播相关度算法对识别结果进行相关度计算，得到识别结果中各识别对象的对应区域的每个像素的相关度值，并将每个像素的相关度值映射到待识别图像中得到热图；将热图划分成与识别对象的数量对应的子图像；将子图像作为待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对子图像的识别处理满足预设收敛条件，将子图像中识别对象的类别和对应的区域确定为对待识别图像的目标处理结果。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前，在对图像进行处理，如对图像进行目标检测或语义分割等处理时，最终得到的结果的质量很大程度上依赖于处理所用的数据集的质量，例如，数据集中数据的数量和数据的标称质量，数据集的质量越高，得到的图像处理的结果越接近人类的认知结果，相关技术中，通常采用的数据集包括分类数据集和像素级标称的数据集。其中，分类数据集是对整个训练样本进行标注，而像素级标称的数据集则需要对训练样本中的每个像素所属物体的类别进行标注，因此需要大量的时间和人力，并且，若增加新的物体类别，还需要花费大量的时间重新做新的数据集以及重新训练模型，从而增加对图像处理的人力和物力成本。由此可知，采用像素级标称的数据集虽然可以提高对图像处理的精度和准确度，但因制作像素级标称的数据集的人力和物力成本过高，使得图像处理的成本也相应增加，因此如何在降低图像处理成本的同时提高图像处理的质量是一个值得思考的问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，用以至少解决相关技术中如何降低图像处理成本的同时提高图像处理的质量的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
将待识别图像输入分类处理模型，得到对所述待识别图像中各识别对象的识别结果和识别概率，其中，各所述识别对象的识别概率均大于第一预定阈值；
利用反向传播相关度算法对识别结果进行相关度计算，得到所述识别结果中各所述识别对象的对应区域的每个像素的相关度值，并将所述每个像素的相关度值映射到所述待识别图像中得到与所述待识别图像对应的热图；
将所述热图划分成与所述识别对象的数量对应的子图像，其中，所述子图像为所述识别结果包括的各所述识别对象在所述待识别图像中所占区域构成的图像；
将所述子图像作为新的待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对所述子图像的识别处理满足预设收敛条件，将所述子图像中识别对象对应的区域和所述子图像对应的识别对象的类别确定为对所述待识别图像的目标处理结果。
在一种可能的设计中，所述预设收敛条件包括：
所述返回将待识别图像输入分类处理模型的步骤达到预定次数；或者，
直至对所述子图像中识别对象的识别概率大于第二预定阈值，其中，所述第二预定阈值大于所述第一预定阈值。
在一种可能的设计中，将所述热图划分成与所述识别对象的数量对应的子图像，包括：
提取所述热图中所述识别对象的特征，并基于所述特征对所述热图中与所述识别对象对应的区域进行划分，获得所述子图像；或者，
根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分，获得所述子图像，其中，每个像素的相关度值用于表征该像素与一个识别对象相关程度。
在一种可能的设计中，所述提取所述热图中所述识别对象的特征，并基于所述特征对所述热图中与所述识别对象对应的区域进行划分，获得所述子图像，包括：
根据聚类算法提取所述热图中所述识别对象的特征，获得与所述识别对象对应的边界框；
将所述边界框选中区域，划分为与所述识别对象对应的子图像。
在一种可能的设计中，所述根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分，获得所述子图像，包括：
从所述热图中，获取与所述识别对象的相关度值大于0的像素，其中，像素与识别对象的相关度值大于0，表明该像素属于该识别对象；
将所述像素对应区域，划分为与所述识别对象对应的子图像。
在一种可能的设计中，在得到所述目标处理结果之后，所述方法还包括：
根据所述子图像中识别对象包括的像素，确定所述识别对象在所述待识别图像中的位置。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
分类单元，被配置为执行将待识别图像输入分类处理模型，得到对所述待识别图像中各识别对象的识别结果和识别概率，其中，各所述识别对象的识别概率均大于第一预定阈值；
热图获得单元，被配置为执行利用反向传播相关度算法对识别结果进行相关度计算，得到所述识别结果中各所述识别对象的对应区域的每个像素的相关度值，并将所述每个像素的相关度值映射到所述待识别图像中得到与所述待识别图像对应的热图；
划分单元，配置为执行将所述热图划分成与所述识别对象的数量对应的子图像，其中，所述子图像为所述识别结果包括的各所述识别对象在所述待识别图像中所占区域构成的图像；
确定单元，配置为执行将所述子图像作为新的待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对所述子图像的识别处理满足预设收敛条件，将所述子图像中识别对象对应的区域和所述子图像对应的识别对象的类别确定为对所述待识别图像的目标处理结果。
在一种可能的设计中，所述预设收敛条件包括：
所述返回将待识别图像输入分类处理模型的步骤达到预定次数；或者，
直至对所述子图像中识别对象的识别概率大于第二预定阈值，其中，所述第二预定阈值大于所述第一预定阈值。
在一种可能的设计中，所述热图获得单元具体被配置为执行：
提取所述热图中所述识别对象的特征，并基于所述特征对所述热图中与所述识别对象对应的区域进行划分，获得所述子图像；或者，
根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分，获得所述子图像，其中，每个像素的相关度值用于表征该像素与一个识别对象相关程度。
在一种可能的设计中，当通过提取所述热图中识别对象的特征的方式对所述热图进行划分时，所述热图获得单元具体被配置为执行：
根据聚类算法提取所述热图中所述识别对象的特征，获得与所述识别对象对应的边界框；
将所述边界框选中区域，划分为与所述识别对象对应的子图像。
在一种可能的设计中，当根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分时，所述热图获得单元具体被配置为执行：
从所述热图中，获取与所述识别对象的相关度值大于0的像素，其中，像素与识别对象的相关度值大于0，表明该像素属于该识别对象；
将所述像素对应区域，划分为与所述识别对象对应的子图像。
在一种可能的设计中，所述装置还包括定位单元，所述定位单元被配置为执行：
根据所述子图像中识别对象包括的像素，确定所述识别对象在所述待识别图像中的位置。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，通过现有的基于分类的数据集构建的分类处理模型，获得对待识别图像中识别对象的识别结果和识别概率后，利用相关度算法得到待识别图像的热图，进而可以将热图划分成与识别对象数量对应的子图像，每个子图像对应识别结果中一个识别对象所占的区域；从而可以将子图像作为待识别图像输入前述的分类处理模型中，重复前述的步骤，对每个识别对象对应的子图像进行循环处理，直至得到满足收敛条件时待识别图像中各识别对象的对应区域的识别结果和识别对象的类别。因此，不需要依赖像素级标称的数据集，即可得到对待处理图像中各识别对象较高准确性的识别结果，提高对图像处理的质量，并且，还减少了制作数据集和重新训练分类处理模型的工作量，降低了制作数据集的难度，节约了图像处理的人力、物力成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的一种图像处理装置的结构示意图；
图3是根据一示例性实施例示出的电子设备的结构示意图；
图4是根据一示例性实施例示出的电子设备的结构示意图另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开实施例公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开实施例公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了便于理解，首先对本公开实施例所要解决的相关技术问题进行分析：
如前文所述，相关技术中，采用像素级标称的数据集时对图像进行目标检测或语义分割等处理时，会因为像素级标称的数据集的制作需要大量的时间和人力，并且在增加新的物体后，需要花大量时间重新训练模型，使得图像处理的人力和物力成本高，所以存在着如何在降低图像处理成本的基础上提高图像处理的质量的问题。
鉴于此，本公开实例提供了一种图像处理的方案，在该方案中，通过基于分类的数据集构建的图像分类处理模型，对待识别图像进行处理，得到对待识别图像中各识别对象的识别结果和识别概率，然后通过相关度算法得到各识别对象的相关度分数，并将相关分数映射到待识别图像中得到热图，进而可以将热图划分成多个子图像，每个子图像对应识别结果中的一个识别对象所占的区域，继而可以将子图像输入分类处理模型重复执行前述步骤，直至对子图像的识别处理满足预设收敛条件时停止重复，可以将子图像中识别对象对应的区域和识别对象的类别作为对待识别对象的目标处理结果。这样，通过分类的数据集即可提高对图像处理的质量，得到对待识别图像中各识别对象实际所占区域和类别的较为准确的处理结果，从而减少了制作数据集和重新训练分类处理模型的工作量，降低了制作数据集的难度，同时还节约了图像处理的人力、物力成本。
为进一步说明本公开实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。
图1是一示例性实施例示出的一种图像处理方法的流程图，图1所示的图像处理方法包括以下步骤。
在步骤101中，将待识别图像输入分类处理模型，得到对待识别图像中各识别对象的识别结果和识别概率，其中，各识别对象的识别概率均大于第一预定阈值。
本公开实施例中的分类处理模型是采用分类的数据集训练得到的，也就是说，用于训练分类处理模型的训练样本，仅标注该训练样本所属的类别，不需要对训练样本中的每个像素进行标注，这样的分类处理模型可以是残差网络Resnet网络模型，也可以是卷积神经网络模型VGG16或AlexNet等等。
在本公开实施例中，在将待识别图像输入分类处理模型后，分类处理模型可以对该待识别图像中包括的识别对象进行分类处理，获得对待识别图像中识别对象的识别结果和识别概率，该识别概率即为识别对象属于哪一类别的对象的概率。其中，根据分类处理模型得到的识别结果中，每个识别对象的识别概率均大于第一预定阈值，该第一预定阈值可以根据识别精度需要任意设置，例如，可以将第一预定阈值设置为30％，从而可以将识别概率大于30％的识别对象作为识别结果，将获得的识别概率小于或等于第一预定阈值的识别对象看作是识别误差，也即待识别图像中实际上并未包括该识别对象。从而可以避免对待识别图像中实际不存在的识别对象进行识别处理，提高了对待识别图像中包括的各识别对象的识别效率。
在步骤102中，利用反向传播相关度算法对识别结果进行相关度计算，得到识别结果中各识别对象的对应区域的每个像素的相关度值，并将每个像素的相关度值映射到待识别图像中得到与待识别图像对应的热图。
在本公开实施例中，在获得待识别图像中各识别对象的识别概率后，可以利用反向传播相关度算法对各识别对象的识别概率进行计算，得到各识别对象对应区域中每个像素的相关度值，即每个像素与一个识别结果的相关程度，进而可以获得的每个像素的相关度值映射到待识别图像中对应的像素，得到与待识别图像对应的热图，也就是说，本公开实施例中可以将映射有像素相关度值的待识别图像称为热图。其中，反向传播相关度算法可以是layer-wise relevance propagation层次相关传播算法，也可以是其他可以用于计算像素相关度值的算法，在此不做具体限制。
在本公开实施例中，根据每个像素与一类物体的相关程度，获得相关度值可能大于0，也可能小于或等于0。若一个像素与某个识别对象的相关度值小于或等于0则表明该像素与该识别对象无关，不在该识别对象包括的区域内，若一个像素与某个识别对象的相关度值大于0，则表明该像素在该识别对象所对应的区域中，其中，相关度值越高，可以表明该识别对象包括的像素属于某一个识别对象的程度越高。
进一步地，为了区分待识别图像中的不同识别对象，获得的热图中可以用不同的颜色表示每个识别对象对应区域的像素的相关度值，例如，与一个识别对象相关度值高的像素可以用较深的颜色显示，相关度值较低的则可以用较浅的颜色表示。
在步骤103中，将所述热图划分成与识别对象的数量对应的子图像，其中，子图像为识别结果包括的各识别对象在待识别图像中所占区域构成的图像。
在本公开实施例中，待识别图像中可能包括一个识别对象或者多个识别对象，即热图中也可能包括一个识别对象或者多个识别对象，而待识别图像中识别对象的数量会影响分类处理模型对识别对象识别的准确度，待识别图像中包括的识别对象越少，识别的准确度就越高，因此，为了提高基于分类的数据集建立的分类处理模型对待识别图像中识别对象的识别准确性，当得到待识别图像对应的热图后，可以将热图中各个识别对象所对应的区域划分成至少一个子图像，使得每个子图像都对应一个识别对象在待识别图像中所占的区域，也就是说，热图中有多少个识别对象，则可以划分对应个数的子图像。
在本公开实施例中，可以采用多种方式来将待识别图像划分为多个子图像，例如，目标检测、语义分割等等。为了便于理解本公开实施例中的技术方案，此处具体以目标检测和语义分割这两种图像处理中常用的方式进行举例说明。
当采用目标检测的方式划分子图像时，可以先提取热图中各识别对象的特征，并基于提取特征对热图中与识别对象对应的区域进行划分，获得每个识别对象对应的子图像。例如，可以利用聚类算法提取热图中识别对象的特征提取，获得与识别对象对应的边界框，将边界框选中区域划分为与该识别对象对应的子图像。具体的，在利用聚类算法提取热图中识别对象的特征后，可以针对提取的特征中相似度较高的特征生成一个边界框，进而根据生成的边界框划取该识别对象对应的区域，得到该识别对象对应的子图像。当然，本公开实施例中还可以利用其他方式来提取识别对象的特征，在此不做具体限制。
进一步地，若采用语义分割方式来划分子图像，则可以根据识别对象对应区域中每个像素的相关度值，对热图进行划分，获得每个识别对象对应的子图像，其中，每个像素的相关度值用于表征该像素与一个识别对象相关程度。具体的，如前文所述，一个像素与一个识别对象的相关度值可能大于0，也可能等于或小于0，像素与识别对象的相关度值大于0，表明该像素属于该识别对象从而在确定一个识别对象对应的子图像时，可以先从热图中，获取与识别对象的相关度值大于0的像素，进而可以将与该像素对应区域划分为识别对象对应的子图像。由于像素是每个图像的基本组成单位，基于像素与某一类别识别对象的相关度值来重新调整该类别对应的子图像，得到的子图像也较为准确，从而保证识别结果准确性的同时，还可以提高识别效率。
在步骤104中，将子图像作为待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对子图像的识别处理满足预设收敛条件，将子图像中识别对象对应的区域和识别对象的类别确定为对待识别图像的目标处理结果。
在具体实践过程中，如前文所述，待识别图像中包括的识别对象越多，分类处理模型对待识别图像中识别对象的识别准确性则越低，因此，在按照步骤103将热图划分成至少一个子图像后，可以将该子图像作为待识别图像，重新输入分类处理模型中进行分类处理，得到对子图像中识别对象的新识别概率，进而可以基于该新识别概率，重新得到子图像中各像素的相关度值，并根据重新得到的相关度值获得子图像的热图，重复前文所述步骤103，对子图像的热图像进划分，以获得新的子图像，又将新的子图像输入分类处理模型中重复前述的步骤。
也就是说，可以将子图像作为待识别图像，返回前述步骤101，重复循环执行步骤101-步骤104，从而不断调整子图像所占区域的大小，使得最终得到的子图像所占区域与其对应的识别对象在待识别图像中所占区域大小更接近，直至对子图像的识别处理满足预设收敛条件时终止循环，继而可以终止循环时得到的子图像中识别对象对应区域和该识别对象的类别作为对待识别图像的目标处理结果。因此，通过将待识别图像对应的热图划分为一个或多个子图像后，对子图像重复进行前述步骤101-步骤104中的处理，从而，利用分类的数据集即可实现对待识别图像中各识别对象实际对应区域确定的准确度，提高对图像处理的质量，并可以节约对待识别图像处理的成本。
优选的，在本公开实施例中，预设收敛条件包括但不限于以下两种方式：
第一种，将子图像作为待识别图像返回将待识别图像输入分类处理模型的步骤达到预定次数。
在具体的实践过程中，可以预先设置将子图像作为待识别图像返回将待识别图像输入分类处理模型这一步骤的预定次数，进而在对子图像重复进行前述步骤101-步骤104的次数达到预定次数后，则可以停止重复，将重复预定次数后得到的子图像中识别对象对应的区域和识别对象的类别作为对待识别图像的目标处理结果。
第二种，对子图像中识别对象的识别概率大于第二预定阈值，其中，第二预定阈值大于预定阈值。
在本公开实施例中，还可以预先设置对子图像中识别对象的识别概率的第二预定阈值，在将子图像作为待识别图像返回将待识别图像输入分类处理模型这一步骤后，得到的子图像中识别对象的识别概率大于第二预定阈值时，则可以停止重复。具体的可以设置损失函数值来确定得到的子图像的识别处理是否满足预设收敛条件，当损失函数值的绝对值满足一定条件时，可以确定子图像中对应识别对象的相关度值大于或等于第二预定阈值。
作为一种可选的实施方式，在本公开实施例中，在确定出子图像中识别对象对应的区域后，可以根据所述子图像中识别对象包括的像素，确定所述识别对象在所述待识别图像中的位置。具体的，由于图像是由像素组成的，当确定出待识别图像中识别对象对应的区域后，则可以确定该区域包括的所有像素，进而可以以待识别图像的左上角为原点，以像素为单位建立直角坐标系，获得每个识别对象包括的各个像素的像素坐标，从而根据识别对象包括的像素的像素坐标，确定该识别对象在待识别图像中的具体位置。并且，还可以根据识别对象包括的所有像素，确定出该识别对象在待识别图像中所占的面积。
所以，通过上述方法，将待处理图像输入基于分类的数据集训练好的分类处理模型，得到对该待识别图像中各识别对象的识别结果和识别概率，并利用反向传播相关度算法对识别结果进行相关度计算，得到识别结果中各识别对象的对应区域的每个像素的相关度值，并将每个像素的相关度值映射到待识别图像中得到与待识别图像对应的热图；进而将热图划分成与识别对象的数量对应的子图像，继而可以将子图像作为待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对子图像的识别处理满足预设收敛条件，将子图像中识别对象对应的区域和子图像对应的识别对象的类别确定为对待识别图像的目标处理结果。这样，通过分类的数据集即可提高对图像处理的质量，得到对待识别图像中各识别对象实际所占区域和类别的较为准确的处理结果，提高对图像处理的质量，从而减少了制作数据集和重新训练分类处理模型的工作量，降低了制作数据集的难度，同时还节约了图像处的人力、物力成本。
图2是根据一示例性实施例示出的一种图像处理装置的框图，请参见图2，该装置包括：分类单元201，热图获得单元202、划分单元203、确定单元204和定位单元205，其中：
分类单元201，被配置为执行将待识别图像输入分类处理模型，得到对待识别图像中各识别对象的识别结果和识别概率，其中，各识别对象的识别概率均大于第一预定阈值；
热图获得单元202，被配置为执行利用反向传播相关度算法对识别结果进行相关度计算，得到识别结果中各识别对象的对应区域的每个像素的相关度值，并将每个像素的相关度值映射到待识别图像中得到与待识别图像对应的热图；
划分单元203，配置为执行将热图划分成与识别对象的数量对应的子图像，其中，该子图像为识别结果包括的各识别对象在待识别图像中所占区域构成的图像；
确定单元204，配置为执行将子图像作为待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对子图像的识别处理满足预设收敛条件，将子图像中识别对象对应的区域和子图像对应的识别对象的类别确定为对待识别图像的目标处理结果。
在一种可能的实施方式中，预设收敛条件包括：
返回将待识别图像输入分类处理模型的步骤达到预定次数；或者，
直至对子图像中识别对象的识别概率大于第二预定阈值，其中，第二预定阈值大于第一预定阈值。
在一种可能的实施方式中，热图获得单元202具体被配置为执行：
提取热图中识别对象的特征，并基于提取特征对热图中与识别对象对应的区域进行划分，获得子图像；或者，
根据识别对象对应区域中每个像素的相关度值，对热图进行划分，获得子图像，其中，每个像素的相关度值用于表征该像素与一个识别对象相关程度。
在一种可能的实施方式中，当通过提取热图中识别对象的特征的方式对热图进行划分时，热图获得单元202具体被配置为执行：
根据聚类算法提取热图中识别对象的特征，获得与识别对象对应的边界框；
将边界框选中区域，划分为与识别对象对应的子图像。
在一种可能的实施方式中，当根据识别对象对应区域中每个像素的相关度值的方式对热图进行划分时，热图获得单元202具体被配置为执行：
从热图中，获取与识别对象的相关度值大于0的像素，其中，像素与识别对象的相关度值大于0，表明该像素属于该识别对象；
将像素对应区域，划分为与识别对象对应的子图像。
在一种可能的实施方式中，图2所示的图像处理装置还包括定位单元205，该定位单元205被配置为执行：
根据子图像中识别对象包括的像素，确定识别对象在待识别图像中的位置。
关于上述实施例中的图像处理装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
图3是根据一示例性实施例示出的一种电子设备的结构示意图，如图3所示，本公开实施例中的电子设备包括至少一个处理器301，以及与至少一个处理器301连接的存储器302和通信接口303，本公开实施例中不限定处理器301与存储器302之间的具体连接介质，图3中是以处理器301和存储器302之间通过总线300连接为例，总线300在图3中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线300可以分为地址总线、数据总线、控制总线等，为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中，存储器302存储有可被至少一个处理器301执行的指令，至少一个处理器301通过执行存储器302存储的指令，可以执行前述的图像处理方法中所包括的步骤。
其中，处理器301是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器302内的指令以及调用存储在存储器302内的数据，电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器301可包括一个或多个处理单元，处理器301可集成应用处理器和调制解调处理器，其中，处理器301主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。在一些实施例中，处理器301和存储器302可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器301可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器302可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器302是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器302还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通信接口303是能够用于进行通信的传输接口，电子设备可以通过通信接口303接收数据或者发送数据，例如可以通过通信接口303将输入的待识别图像发送给图像处理服务器，并且还可以通过该通信接口303接收图像处理服务器发送的对待识别图像的识别结果。
参见图4所示的电子设备的进一步地的结构示意图，该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)401、用于存储操作系统402、应用程序403和其他程序模块404的大容量存储设备405。
基本输入/输出系统401包括有用于显示信息的显示器406和用于用户输入信息的诸如鼠标、键盘之类的输入设备407。其中显示器406和输入设备407都通过连接到系统总线300的基本输入/输出系统401连接到处理器301。所述基本输入/输出系统401还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备405通过连接到系统总线300的大容量存储控制器(未示出)连接到处理器301。所述大容量存储设备405及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备405可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例，该电子设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该电子设备可以通过连接在所述系统总线300上的通信接口303连接到网络408，或者说，也可以使用通信接口303来连接到其他类型的网络或远程计算机系统(未示出)。
基于上述实施例，本公开实施例还提供了一种包括指令的存储介质，例如包括指令的存储器，该指令可以由如图3中所示的图像处理装置中的处理器执行完成上述任意一项图像处理方法或任意一项图像处理方法任一可能涉及的方法。
在一些可能的实施方式中，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些可能的实施方式中，本公开实施例提供的图像处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机上运行时，所述程序代码用于使所述计算机执行前文述描述的根据本公开各种示例性实施方式的图像处理方法中的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
将待识别图像输入分类处理模型，得到对所述待识别图像中各识别对象的识别结果和识别概率，其中，各所述识别对象的识别概率均大于第一预定阈值；
利用反向传播相关度算法对所述识别结果进行相关度计算，得到所述识别结果中各所述识别对象的对应区域的每个像素的相关度值，并将所述每个像素的相关度值映射到所述待识别图像中得到与所述待识别图像对应的热图；
将所述热图划分成与所述识别对象的数量对应的子图像，其中，所述子图像为所述识别结果包括的各所述识别对象在所述待识别图像中所占区域构成的图像；
将所述子图像作为新的待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对所述子图像的识别处理满足预设收敛条件，将所述子图像中识别对象对应的区域和所述子图像对应的识别对象的类别确定为对所述待识别图像的目标处理结果。
2.如权利要求1所述的方法，其特征在于，所述预设收敛条件包括：
所述返回将待识别图像输入分类处理模型的步骤达到预定次数；或者，
直至对所述子图像中识别对象的识别概率大于第二预定阈值，其中，所述第二预定阈值大于所述第一预定阈值。
3.如权利要求1所述的方法，其特征在于，将所述热图划分成与所述识别对象的数量对应的子图像，包括：
提取所述热图中所述识别对象的特征，并基于所述特征对所述热图中与所述识别对象对应的区域进行划分，获得所述子图像；或者，
根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分，获得所述子图像，其中，每个像素的相关度值用于表征该像素与一个识别对象相关程度。
4.如权利要求3所述的方法，其特征在于，所述提取所述热图中所述识别对象的特征，并基于所述特征对所述热图中与所述识别对象对应的区域进行划分，获得所述子图像，包括：
根据聚类算法提取所述热图中所述识别对象的特征，获得与所述识别对象对应的边界框；
将所述边界框选中区域，划分为与所述识别对象对应的子图像。
5.如权利要求3所述的方法，其特征在于，所述根据所述识别对象对应区域中每个像素的相关度值，对所述热图进行划分，获得所述子图像，包括：
从所述热图中，获取与所述识别对象的相关度值大于0的像素，其中，像素与识别对象的相关度值大于0，表明该像素属于该识别对象；
将所述像素对应区域，划分为与所述识别对象对应的子图像。
6.如权利要求1-5任一所述的方法，其特征在于，在得到所述目标处理结果之后，所述方法还包括：
根据所述子图像中识别对象包括的像素，确定所述识别对象在所述待识别图像中的位置。
7.一种图像处理装置，其特征在于，包括：
分类单元，被配置为执行将待识别图像输入分类处理模型，得到对所述待识别图像中各识别对象的识别结果和识别概率，其中，各所述识别对象的识别概率均大于第一预定阈值；
热图获得单元，被配置为执行利用反向传播相关度算法对识别结果进行相关度计算，得到所述识别结果中各所述识别对象的对应区域的每个像素的相关度值，并将所述每个像素的相关度值映射到所述待识别图像中得到与所述待识别图像对应的热图；
划分单元，配置为执行将所述热图划分成与所述识别对象的数量对应的子图像，其中，所述子图像为所述识别结果包括的各所述识别对象在所述待识别图像中所占区域构成的图像；
确定单元，配置为执行将所述子图像作为新的待识别图像，返回将待识别图像输入分类处理模型的步骤，直至对所述子图像的识别处理满足预设收敛条件，将所述子图像中识别对象对应的区域和所述子图像对应的识别对象的类别确定为对所述待识别图像的目标处理结果。
8.如权利要求7所述的装置，其特征在于，所述预设收敛条件包括：
所述返回将待识别图像输入分类处理模型的步骤达到预定次数；或者，
直至对所述子图像中识别对象的识别概率大于第二预定阈值，其中，所述第二预定阈值大于所述第一预定阈值。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911076364.7A CN110889437B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911076364.7A CN110889437B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110889437A true CN110889437A (zh) | 2020-03-17 |
| CN110889437B CN110889437B (zh) | 2022-11-11 |
Family
ID=69746956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911076364.7A Active CN110889437B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110889437B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183212A (zh) * | 2020-09-01 | 2021-01-05 | 深圳市识农智能科技有限公司 | 一种杂草识别方法、装置、终端设备及可读存储介质 |
| CN112669299A (zh) * | 2020-12-31 | 2021-04-16 | 上海智臻智能网络科技股份有限公司 | 瑕疵检测方法及装置、计算机设备和存储介质 |
| CN113657197A (zh) * | 2021-07-27 | 2021-11-16 | 浙江大华技术股份有限公司 | 图像识别方法、图像识别模型的训练方法以及相关装置 |
| CN113673546A (zh) * | 2020-05-15 | 2021-11-19 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN113723152A (zh) * | 2020-05-26 | 2021-11-30 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置以及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492301A (zh) * | 2018-03-21 | 2018-09-04 | 广东欧珀移动通信有限公司 | 一种场景分割方法、终端及存储介质 |
| CN109740517A (zh) * | 2018-12-29 | 2019-05-10 | 上海依图网络科技有限公司 | 一种确定待识别对象的方法及装置 |
| CN109767438A (zh) * | 2019-01-09 | 2019-05-17 | 电子科技大学 | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 |
| CN109815842A (zh) * | 2018-12-29 | 2019-05-28 | 上海依图网络科技有限公司 | 一种确定待识别对象的属性信息的方法及装置 |
| CN110363138A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像处理方法、装置、终端及存储介质 |
-
2019
- 2019-11-06 CN CN201911076364.7A patent/CN110889437B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492301A (zh) * | 2018-03-21 | 2018-09-04 | 广东欧珀移动通信有限公司 | 一种场景分割方法、终端及存储介质 |
| CN109740517A (zh) * | 2018-12-29 | 2019-05-10 | 上海依图网络科技有限公司 | 一种确定待识别对象的方法及装置 |
| CN109815842A (zh) * | 2018-12-29 | 2019-05-28 | 上海依图网络科技有限公司 | 一种确定待识别对象的属性信息的方法及装置 |
| CN109767438A (zh) * | 2019-01-09 | 2019-05-17 | 电子科技大学 | 一种基于动态多目标优化的红外热图像缺陷特征识别方法 |
| CN110363138A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像处理方法、装置、终端及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673546A (zh) * | 2020-05-15 | 2021-11-19 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN113673546B (zh) * | 2020-05-15 | 2024-04-16 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN113723152A (zh) * | 2020-05-26 | 2021-11-30 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置以及电子设备 |
| CN112183212A (zh) * | 2020-09-01 | 2021-01-05 | 深圳市识农智能科技有限公司 | 一种杂草识别方法、装置、终端设备及可读存储介质 |
| CN112183212B (zh) * | 2020-09-01 | 2024-05-03 | 深圳市识农智能科技有限公司 | 一种杂草识别方法、装置、终端设备及可读存储介质 |
| CN112669299A (zh) * | 2020-12-31 | 2021-04-16 | 上海智臻智能网络科技股份有限公司 | 瑕疵检测方法及装置、计算机设备和存储介质 |
| CN112669299B (zh) * | 2020-12-31 | 2023-04-07 | 上海智臻智能网络科技股份有限公司 | 瑕疵检测方法及装置、计算机设备和存储介质 |
| CN113657197A (zh) * | 2021-07-27 | 2021-11-16 | 浙江大华技术股份有限公司 | 图像识别方法、图像识别模型的训练方法以及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110889437B (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889437B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| WO2022077917A1 (zh) | 实例分割模型样本筛选方法、装置、计算机设备及介质 | |
| WO2020238054A1 (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| CN109753953B (zh) | 图像中定位文本的方法、装置、电子设备和存储介质 | |
| CN110033018B (zh) | 图形相似度判断方法、装置及计算机可读存储介质 | |
| CN110738125A (zh) | 利用Mask R-CNN选择检测框的方法、装置及存储介质 | |
| CN111931931A (zh) | 一种针对病理全场图像的深度神经网络训练方法、装置 | |
| CN111814905A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN111985518A (zh) | 门窗检测方法及其模型训练的方法、装置 | |
| CN110378911B (zh) | 基于候选区域和邻域分类器的弱监督图像语义分割方法 | |
| US11893773B2 (en) | Finger vein comparison method, computer equipment, and storage medium | |
| CN115546809A (zh) | 基于单元格约束的表格结构识别方法及其应用 | |
| CN108520263B (zh) | 一种全景图像的识别方法、系统及计算机存储介质 | |
| CN110796039B (zh) | 一种面部瑕疵检测方法、装置、电子设备及存储介质 | |
| CN111382638A (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| CN113936187A (zh) | 文本图像合成方法、装置、存储介质及电子设备 | |
| CN114399657A (zh) | 车辆检测模型训练方法、装置、车辆检测方法及电子设备 | |
| WO2021179751A1 (zh) | 图像处理方法和系统 | |
| WO2024078426A1 (zh) | 样本处理方法、装置、计算设备和计算机可读存储介质 | |
| CN113128604A (zh) | 页面元素的识别方法、装置、电子设备及存储介质 | |
| US20230401809A1 (en) | Image data augmentation device and method | |
| CN115797955A (zh) | 基于单元格约束的表格结构识别方法及其应用 | |
| CN113012189B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| Yang et al. | Scene classification-oriented saliency detection via the modularized prescription |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |