CN113705597A - 一种图像处理方法、装置、计算机设备以及可读存储介质 - Google Patents
一种图像处理方法、装置、计算机设备以及可读存储介质 Download PDFInfo
- Publication number
- CN113705597A CN113705597A CN202110246521.5A CN202110246521A CN113705597A CN 113705597 A CN113705597 A CN 113705597A CN 202110246521 A CN202110246521 A CN 202110246521A CN 113705597 A CN113705597 A CN 113705597A
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- category
- target
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 130
- 230000006870 function Effects 0.000 claims description 29
- 238000002372 labelling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 231100000863 loss of memory Toxicity 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、计算机设备以及可读存储介质，该图像处理方法基于人工智能技术，包括：获取待识别图像；利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。通过本申请实施例，可以有效降低处理图像数据的偏差，提高图像的场景识别准确率。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种图像处理方法、装置、计算机设备以及可读存储介质。
背景技术
随着深度学习的快速发展，其在图像识别领域的应用取得了巨大的成功。目前，对图像的场景这类高层语义识别，相对于通用物体识别来说，挑战难度更大。这是由于场景和场景间存在的相似度，混淆图像作为歧义样本(或噪声样本)的存在，会对模型训练带来一定影响。在这种情况下，一般先用干净样本训练模型，再利用歧义样本进行微调的离线学习。
而这种方法存在一些问题，例如数据利用率不高，模型优化有一定程度的局限等导致图像场景识别的准确性不高。因此，如何提升模型对数据预测的准确度是值得关注的问题。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备以及可读存储介质，可以有效降低处理图像数据的偏差，提高图像的场景识别准确率。
本申请实施例一方面提供了一种图像处理方法，包括：
获取待识别图像；
利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；
其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
本申请实施例一方面提供了一种图像处理装置，包括：
获取模块，用于获取待识别图像；
处理模块，用于利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；
其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；
存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请实施例中的图像处理方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本申请实施例中的图像处理方法。
相应的，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例中一方面提供的图像处理方法。
在本申请实施例中，利用记忆单元辅助图像识别模型训练，具体是利用记忆单元存储的场景类别判定信息对样本数据进行类别判定，进而确定分类损失值，然后使用该分类损失值调整图像识别模型的相关参数，以提升图像识别模型整体的准确率以及有效地进行分类学习。通过训练后得到的图像识别模型处理待识别图像，可以优化对图像中高级语义信息表达的精确度，从而提高图像的场景识别的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像识别模型训练阶段的结构示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种利用图像识别模型对待识别图像进行处理的流程示意图；
图4是本申请实施例提供的另一种图像处理方法的流程示意图；
图5是本申请实施例提供的一种针对深层网络的残差学习单元的结构示意图；
图6是本申请实施例提供的一种更新记忆单元的结构示意图；
图7是本申请实施例提供的一种基于记忆单元的自监督可泛化场景学习框架的流程示意图；
图8是本申请实施例提供的一种图像处理装置的结构示意图；
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面先对本申请涉及的关键术语定义进行解释。
ImageNet：一种大型通用物体识别开源数据集。
图像识别:类别级别的识别，不考虑对象的特定实例，仅考虑对象的类别(如人、狗、猫、鸟等)进行的识别并给出对象所属类别。一个典型的例子是大型通用物体识别开源数据集ImageNet中的识别任务，识别出某个物体是1000个类别中的某一个。
图像多标签识别：通过计算机识别出图像是否具有指定属性标签的组合。一张图像可能具有多个属性，多标签识别任务是判断某张图具有的预设属性标签。
带噪识别：采用带噪声的样本所进行的物体识别任务，噪声样本包括标注人员失误造成错误类别标注、概念不清晰造成图片与对应类别标签不完全一致。(如：两个类别间概念部分重叠，造成某张图具有2种类别属性，但仅被标注成1种类别)。
ImageNet预训练模型：基于ImageNet训练一个深度学习网络模型，得到该模型的参数权重即为ImageNet预训练模型。
干净样本：样本中不含有噪声(经过人工确认)。
带噪样本：样本中一定程度带有噪声数据，并非所有样本都是噪声。
全量样本：干净样本和带噪样本的并集。
校验样本：经过人工噪声校验的样本(即图片及其是否为噪声的0或者1标签)。
场景识别任务属于高层语义识别，难度比通用物体识别大，所造成的一大识别难题是：场景与场景间混淆严重，如咖啡厅和图书馆都是桌椅集合，样本中存在易混淆图像。如果把此类混淆样本作为噪声样本，噪声样本(即歧义样本)容易造成过拟合(识别结果上对两张相似图像做出相反的判决)，如何识别出以及处理此类混淆样本是一大难题。
课程网络Curriculum Net和净网络Clean Net都是基于从带噪样本中进行深度学习，以训练出高性能的深度学习模型。其中，Curriculum Net基于课程学习CurriculumLearning的思想，通过使用不同难度的数据集进行不同阶段的学习，使模型学习从简单到复杂，能有效的处理大量噪声标签和数据不均衡问题，完成模型的综合训练。主要思路是先在给定的干净样本或全量样本上学习到一阶段模型，然后噪声学习(通过密度把噪声样本分成二阶段、三阶段数据并分别给予不同的样本权重)，接着采用微调finetune的方法进行二阶段学习，采用二次finetune的方法进行三阶段学习作为结果。而Clean Net首先给定全量样本学习到一阶段模型，然后给定校验样本并根据样本训练噪声判断模型，接着噪声判断模型对全量样本进行噪声预测，其预测结果作为样本权重，最后把样本权重应用到二阶段模型学习中作为样本加权。但是这两种深度学习模型在对带噪样本进行学习的过程中存在的共同问题是：首先无论是干净样本初始化模型或收集更多的校验样本以达到更好的效果，都会由于人工标注的额外需求，有更多的人工投入，其次微调阶段或其他训练过程中由于直接抑制预测到的噪声样本，会引起可能属于其他类别的信息丢失，数据利用率不高，再者，存在有些样本被误判为噪声的情况，即一定量难以识别的困难样本误判为噪声样本的情况，这样导致样本的过拟合，最后，由于离线学习，模型结构参数等确定后就不再变化，这样一次学习噪声存在偏差，会造成学习的不准确进而导致后续模型优化陷入困境。
关于如何在带歧义样本的场景识别中进行深度学习任务，本申请实施例提供了一种基于记忆单元(memory bank)的自监督学习方案，对场景类别在线学习，建立模型，并由模型自动进行任务修正，通过模型迭代逐批次更新类别表达，自动修正样本的类别标签并对混淆样本采用可泛化损失计算，从而实现模型对不同样本的分别自监督学习，提升整体准确率。该自监督学习方案应用于图像识别领域，涉及人工智能技术。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
更进一步地，本申请实施例提供的方案是人工智能领域下属的计算机视觉技术(Computer Vision，CV)和机器学习(Machine Learning，ML)。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
可以理解的是，本申请下述实施例提供的方法可以由计算机设备执行，计算机设备包括但不限于用户终端或服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参见图1，是本申请实施例提供的一种图像识别模型训练阶段的结构示意图，包括图像特征提取模型101、分类器102、记忆单元103以及损失计算单元104。
在一实施例中，图像特征提取模型101可以是卷积神经网络(ConvolutionalNeural Networks，CNN)或其他深度卷积神经网络VGG等，这个模型主要用于对输入的图像进行特征向量的提取，通过分类器102、记忆单元103以及损失计算单元104与其结合调整训练，以实现对图像内容准确的高层语义表达。可选的，可以使用开源数据集训练的预训练模型作为图像特征提取模型，对输入的图像进行前向训练学习，从而得到特征向量。
分类器102用于图像特征提取模型101对输入图像处理后得到的特征向量进行处理，得到输入图像的预测分类结果，分类器可视为一个映射函数，根据特征向量将输入图像映射到每个类别，即该输入图像属于每个类别的预测值。具体的，该分类器102是一个多分类器，如Softmax，SVM多分类器，对输入图像所属的场景类别进行预测。示例的，若图像A的场景类别是图书馆，经过图像特征提取模型以及分类器后，得到预测分类结果中场景类别分别为图书馆、教室、咖啡厅、操场以及展览馆的概率值，最后选取概率值最高的场景类别作为图像A所属的场景。
记忆单元103(memory bank)用于存储训练模型时的样本图像对应的特征向量，以及每种场景类别相关的信息，例如场景类别及其表达、阈值等。由于在训练过程中使用的样本包括歧义和非歧义样本，通过这些信息，对不同样本进行自监督学习，将噪声样本(即歧义样本)识别出来，并根据这些样本的特征向量对场景类别表达进行修正，使得场景类别趋向更准确的表达，从而辅助图像特征提取模型进行训练，调整参数以优化模型到最佳。
损失计算单元104用于根据不同的损失函数计算损失值，并将损失值回传至图像特征提取模型，对模型的网络参数，例如卷积模板参数和偏置参数进行调整。当经过多轮训练后，损失值在可接受范围内变化，达到收敛状态，就停止对模型的训练。其中，损失函数包括可泛化损失函数和分类预测损失函数，分别用于计算歧义样本的损失值和非歧义样本的损失值，因此，在根据损失函数计算损失值的过程中，要依据记忆单元对该样本图像推荐的场景类别标签和样本真实的场景类别标签，确定该样本是歧义或非歧义样本，并针对不同的样本采用不同的损失函数进行计算，得到损失值。
上述图像识别系统，利用记忆单元辅助图像特征提取模型进行训练，其中，记忆单元的自监督学习，不需要预先知道样本图像是否为混淆样本(即歧义样本)，在模型迭代中通过记忆单元对类别中心的表达，推断出混淆样本，并采用相应的损失函数进行处理，实现对模型的优化。在这个过程中，通过不断调整类别中心，对类别的表达越来越接近正确，样本学习过程中的修正也越好，根据歧义和非歧义样本对模型的贡献程度采用不同的损失函数计算，从而实现有效的分类学习。
进一步地，为便于理解，请参见图2，图2是本申请实施例基于图1提供的一种图像处理方法的流程示意图。该方法可以由用户终端执行，也可以由用户终端和服务器共同执行。为便于理解，本实施例以该方法由服务器执行为例进行说明。其中，该图像处理方法至少可以包括以下步骤S201-S202：
S201，获取待识别图像。
在一种可能的实施例中，待识别图像可以是简单的单个对象，例如狗，猫，也可以是包括多种对象的图像，例如在一张图书馆的图像中包括桌子、椅子、书以及其他背景环境等。对于一些特定场景的图像，例如音乐厅、咖啡厅、教室等，均可以作为待识别图像。通常，在图像识别的过程中，可以从存储待识别图像的数据库中获取到，这些待识别图像可以是在某些应用中用户上传的图像数据，也可以是利用相关设备，例如摄像头采集的各个场景的图像数据。需要说明的是，本申请实施例中对待识别图像的具体内容以及获取方式在此不做限制。
S202，利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别。
在一种可能的实施例中，图像识别模型对应的是上述图1中的图像特征提取模型101和分类器102的组合，且图像识别模型是利用记忆单元(如图1中的记忆单元103)辅助训练得到的。在利用样本数据对图像识别模型进行训练的过程中，可以基于该记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于该分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
其中，样本数据是包括干净样本和歧义样本的全量数据，利用带有歧义样本的数据训练图像识别模型属于带噪训练。在训练的过程中，不需要区分干净样本或者校验样本，因此不需要预先标注，极大地降低了人工投入成本，同时也提升了大规模数据下模型学习的效率。根据场景类别判定信息可以确定不同的损失函数，属于自监督学习，损失函数包括处理歧义样本的可泛化损失函数以及处理其他样本的分类损失函数，根据不同的损失函数确定分类损失值，将分类损失值回传给图像识别模型，并根据该分类损失值调整模型的相关参数，可以提高模型对实际类别的泛化能力。记忆单元的自监督学习过程简单来说是：每个批次(batch)学习过程中抽取类别对记忆单元的类中心更新，给出样本修正建议，根据样本修正建议选择泛化或非泛化方式计算损失值。
利用训练后的图像识别模型对待识别图像处理，可以得到对应的场景类别。这里的场景类别可以是体育馆、会议室、餐厅等具有一定功能的场景中的一种，或者其他表现形式的场景，在此对场景类别不做限制。在对待识别图像的具体处理过程中，是用图像识别模型中包括的图像特征提取模型，例如卷积神经网络提取待识别图像的特征向量，这个特征向量是对待识别图像的较为准确的高层语义表达，然后将该特征向量送入分类器中处理，得到待识别图像属于每种场景类别的预测值，例如预测概率，可以选取预测值最大的场景类别作为待识别图像中的内容对应的场景类别，待识别图像中的内容是指图像中包括的概念部分的内容，例如咖啡厅的桌椅，画廊的画等。作为一种扩展的示例，若待识别图像中包括多种场景类别，例如操场和室内体育馆这两种场景类别在一张待识别图像中，那么待识别图像中包括的内容则可以有对应操场的草坪、跑道、人以及对应室内体育馆的乒乓球台、人、篮球架等，待识别图像所属的场景类别则可以包括操场和室内体育馆。
根据上述训练后的图像识别模型对待识别图像进行处理的实现逻辑和处理流程可以如图3所示，具体为：前端A接收到数据(如用户输入的图片)，上传给后端，例如云服务器，然后，后端使用其中包括的训练后的图像识别模型对其进行识别并进行分类处理后，输出到前端B。这里的前端A以及前端B可以是同一前端，也可以是不同前端，输出的结果即是接收到的数据所属的场景类别。对于上述带噪训练得到的图像识别模型可以搭载于云服务器中，提供物体识别服务。
综上所述，本申请至少具有以下优点：
通过记忆单元辅助图像识别模型训练，具体的，是利用记忆单元中存储的场景类别判定信息确定损失函数，进而确定分类损失值，记忆单元的实时学习与场景类别判定信息的更新，以及图像识别模型的反馈与自我更新，可以避免一次学习噪声造成偏差问题，使得持续化地对模型进行优化，保证学习更加准确。利用学习准确的图像识别模型对待识别图像进行处理，获得的特征向量对图像内容的表达更精确，这样可以有效提升待识别图像所属的场景类别的识别准确度和识别效果。
请参见图4，图4是本申请实施例基于图1提供的另一种图像处理方法的流程示意图，为便于理解，本实施例以该方法由服务器执行为例进行说明。其中，该图像处理方法至少可以包括以下步骤S401-S405：
S401，获取样本数据集。
在一种可能的实施例中，样本数据集包括多组样本数据，每组样本数据包括样本图像和该样本图像对应的标注场景类别标签，这里的标注场景类别标签就是样本图像对应的真实场景类别标签，也即原始场景类别标签。在样本数据集中包括部分易混淆样本图像，如都是桌椅集合的咖啡厅和图书馆，这类样本称为歧义样本或噪声样本。本实施例中对于样本数据集的收集简单，且不需要过多人力标注投入，即不需要大量人力标注干净样本耗时，只需要模型学习样本数据集，从而提升了速度，快速提供学习好的目标识别模型。对于样本数据集的具体获取方式在此不做限制。
S402，将所述样本数据集输入初始图像识别模型中进行处理，提取样本图像的特征向量，并根据所述特征向量确定样本图像与各个预测场景类别标签之间的匹配值。
在一种可能的实施例中，初始图像识别模型可以是ImageNet预训练模型，即利用ImageNet数据集训练好的深度卷积神经网络模型，需要说明的是，上述初始图像识别模型还可以使用其他不同的网络结构、不同的预训练模型权重作为基础模型，在此不做限制。就本申请实施例中的ImageNet预训练模型来说，主要是卷积层Conv1-Conv5采用在ImageNet数据集上预训练的ResNet-101的参数，ResNet-101是101层的深度残差网络，每个模块(block)都是一个残差学习单元，对于ResNet-101的特征模块结构相关参数如下表1所示，利用ResNet-101可以构建分类模块可如下表2所示。其中，新添加的层如全连接层(FullConnection，FC)采用方差为0.01，均值为0的高斯分布进行初始化。
在卷积神经网络中，越深的网络提取的特征越抽象，越具有语义信息。在原始的网络层数增加的基础上，样本训练集上的准确率会达到饱和状态甚至下降，出现退化问题。而残差网络通过学习一个残差函数F(x)＝H(x)-x，其中，H(x)为输入为x时模型学习到的特征，由于残差函数对应的值比较小，模型拟合残差更容易，且更容易优化，并且能够通过增加相当的深度来提高准确率。这样使用残差网络可以解决深度增加带来的退化问题，并且单纯地增加网络深度就可以提高网络性能。同样，深度残差网络ResNet-101可以使得提取的样本图像的特征向量的语义信息更丰富准确，从而使得利用分类模块对特征向量进行处理，得到该样本图像和各个预测场景类别标签之间的匹配值更可靠。其中，预测场景类别即样本数据中包括的所有场景类别，对应的，各个预测场景类别标签是不同的标注场景类别标签，匹配值则是指样本图像属于预测场景类别标签的预测值，举例来说，假设标注场景类别标签有类别1至类别100，对于样本图像A处理后得到的匹配值，则可以是样本图像A属于类别1至类别100的概率，类似于[m1,m2,...,m100]这样形式的值。
在一实施例中，样本数据集被分为多个批次(batch)输入初始图像识别模型中进行训练，每一个批次中包含多个样本数据，针对每个批次中的样本图像对应的特征向量，不仅可以得到每个样本图像属于各个场景类别的预测值，还可以存储到临时的存储单元中，以备后续使用。
利用样本数据集对模型进行训练是模型学习的过程，可以以识别模型训练方法训练深度神经网络。假设识别任务为N类别图像识别，具体过程包括参数初始化，训练以及基于记忆单元的自监督歧义样本的可泛化损失。在此步骤中涉及的是参数初始化。
表1 ResNet-101的特征模块结构表
上述ResNet-101的特征模块采用多个残差学习单元连接而成，请参阅图5，图5是一种针对深层网络的残差学习单元的结构示意图，如图5所示，将短路机制加入残差单元，当输入和输出维度一致时，直接相加，当维度不一致时，短路连接有两种方法，可以通过采用步幅stride＝2的池化这样不增加参数的方式增加维度，也可以采用新的映射，但这样一般会增加参数，也会增加计算量。
表2 基于ResNet-101的分类模块结构表
| 层名 | 输出大小 | 层 |
| Pool_cr | 1x2048 | 最大池化层 |
| Fc_cr | 1xN | 全连接层 |
其中，N为学习的类别数量。夹在连续的卷积层中间的池化层可以降低图像特征的维度，保持重要信息，通过压缩数据和参数的量，减小过拟合，而最大池化(Max pooling)通过从窗口中选取最大的元素，对数据的下采样(数据压缩)能达到更好的效果。全连接层在卷积神经网络的尾部，样本图像的特征向量送入全连接层，配合输出层进行分类。在本申请实施例中，具体是对场景类别的分类过程，通过全连接层配合输出层得到相应的匹配值。
S403，获取所述记忆单元存储的场景类别判定信息，根据所述特征向量和所述场景类别判定信息确定样本图像的参考场景类别标签。
在一种可能的实施例中，每一个场景类别的场景类别判定信息包括参考类别向量和参考相似度阈值，这里的参考类别向量可以视为类别中心，是对每种场景类别的表达，不同的场景类别的类别中心有所差异，参考相似度阈值也是属于每种场景类别的另一个维度的表达，主要作用是作为一个比较标准，供样本图像可能属于某种场景类别的参考。记忆单元(memory bank)的初始化是提取第一个批次(batch)中样本图像的特征向量(embedding)，并把每类别的embedding中心作为memory bank，每类别记录阈值，初始值均为0.5。这里的embedding中心即为前述的参考类别向量，阈值即为参考相似度阈值，在对批次样本数据的不断处理中，场景类别判定信息会自动更新以使得确定的参考场景类别标签更准确，其中，参考类别标签是记忆单元根据一定规则赋予样本图像的相关类别标签。
进一步地，确定样本图像的参考场景类别标签的过程具体可以包括：首先确定特征向量与目标参考类别向量之间的目标相似度，这里的目标参考类别向量是记忆单元中存储的任一场景类别的参考类别向量。
在记忆单元中，存储的场景类别包括的是当前批次样本数据之前处理的所有批次样本数据中包括的场景类别的参考类别向量，因此，目标参考类别向量也就局限于记忆单元中的类别中心，例如记忆单元中存储有类别1至类别50的参考类别向量，那么目标参考类别向量是其中任一个。可选的，对应上述记忆单元第一个batch的初始化，这里的特征向量是第二个batch中样本的特征向量。目标相似度可以是特征向量和目标参考类别向量之间的余弦相似度，也可以是其他度量特征向量和目标参考类别向量之间相似度的方式，在此不做限制。余弦相似度通过计算这两个向量的夹角余弦值来评估它们的相似度，具体公式可参见下式(1)。当相似度越接近于1，则说明两个向量的相似度越高，对应的，特征向量和目标参考类别向量越接近一致，则样本图像的场景类别越可能是目标参考类别向量对应的场景类别，
其中，M为特征向量，N为目标参考类别向量。
然后，将目标相似度和目标参考类别向量对应的参考相似度阈值进行比较。若比较结果指示目标相似度大于或者等于目标参考类别向量对应的参考相似度阈值，则将目标参考类别向量对应的场景类别标签作为样本图像的参考场景类别标签。需要说明的是，这里的目标相似度没有以接近1为标准进行比较，而是和给定的参考相似度阈值比较，示例的，在记忆单元初始化的时候，参考相似度阈值统一设置为0.5，因此目标相似度可以和数值0.5比较，如果大于0.5，那么记忆单元给出所有场景类别标签作为该样本图像的相关类别标签。由于参考相似度阈值会不断更新，每个场景类别的阈值会有所变化，特征向量对应的样本图像的场景类别标签和目标参考类别向量对应的场景类别标签相关时，即目标相似度大于参考相似度阈值时，将这个场景类别标签给到该样本图像。举例来说，如果样本图像A的特征向量和记忆单元中存储的100个场景类别对应的参考类别向量分别计算，可以得到对应的100个目标相似度，然后与记忆单元中存储的对应的100个参考相似度阈值比较，其中有50个目标相似度大于参考相似度阈值，那么就将这50个场景类别标签作为样本图像A的参考场景类别标签。
S404，根据所述标注场景类别标签、所述参考场景类别标签以及所述样本图像与各个预测场景类别标签之间的匹配值，确定目标分类损失值。
在一种可能的实施例中，目标分类损失值具体的确定方式包括以下步骤：首先对比参考场景类别标签与标注场景类别标签，当参考场景类别标签与标注场景类别标签匹配时，也就是样本图像对应的参考场景类别标签只有一个，且和该样本图像对应的标注场景类别标签一致，也即记忆单元给定的场景类别标签和原始场景类别标签相同，采用分类预测损失函数Lclass计算对应的目标分类损失值，即把分类预测结果与真实类别标签对比计算模型的损失值，计算表达式如下式(2)：
其中，y取值1，
为预测场景类别标签为原始场景类别标签时的概率值。
当参考场景类别标签与标注场景类别标签不匹配时，根据样本图像与各个预测场景类别标签之间的匹配值，确定样本图像与各个参考场景类别标签之间的匹配值，以及确定各个参考场景类别标签对应的权重参数，并根据样本图像与各个参考场景类别标签之间的匹配值以及各个参考场景类别标签对应的权重参数，确定目标分类损失值。此时，不匹配的情况有三种：一是参考场景类别标签只有一个且和标注场景类别标签不相同，二是参考场景类别标签有两个及以上且其中一个和标注场景类别标签相同，三是参考场景类别标签有两个及以上且任何一个和标注场景类别标签均不相同。记忆单元给出的相关类别标签和原始类别标签有不同，这说明该样本图像是歧义样本，针对上述情况，均采用可泛化损失函数计算目标分类损失值，即根据memory bank的所有推荐类别以及原始标注类别计算预测值，并与所有标签的损失求平均得到。具体计算公式(3)如下：
其中，w1,...,wn为权重系数，具体取值为1/n，n为参考场景类别标签个数，class为原始标签(即标注场景类别标签)，Lclass则为标注场景类别标签对应的损失值，class2,...,classn为预测标签(即参考场景类别标签)，
为样本图像与参考场景类别标签i之间的匹配值，y取值0或1。
示例的，如果样本图像A的标注场景类别标签为类别1，参考场景类别标签为类别2、类别3、类别4，样本图像A与预测场景类别标签的匹配值包括类别1至类别50的概率值，由于参考场景类别标签中不包括标注场景类别标签，即参考场景类别标签和标注场景类别标签不匹配，因此采用可泛化损失函数对目标分类损失值进行计算，即：
其中，在计算每一个场景类别对应的损失值时，
分别选用样本图像A与预测场景类别标签为类别2、类别3、类别4的概率值代入计算，此时由于参考场景类别标签均不是真实场景类别标签，即标注场景类别标签，y取值均为0。
上述将每个样本数据对应的损失值作为目标分类损失值，可选的，对于目标分类损失值的计算也可以按照批次样本数据计算，即将一个batch中的所有样本数据对应的分类损失值计算出来后，求和直接得到一个目标分类损失值，或者求和取平均得到一个目标分类损失值。
S405，基于所述目标分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
在一种可能的实施例中，由于目标分类损失值可以是针对一个批次(batch)的样本数据进行平均计算，因此对初始图像识别模型的模型参数进行调整的周期对应可以是每个batch损失值回传后再调整，在此对模型参数的调整时机不做限制。根据目标分类损失值调整图像识别模型过程中，利用图像识别模型学到的知识自监督，对歧义样本做泛化性矫正，可以避免歧义样本过拟合造成识别性能差。
在每次迭代过程中，也就是每次新的批次样本数据输入模型时，根据memory bank中已有场景类别判定信息决定每个样本计算分类预测损失loss还是可泛化损失loss，并反向传播到卷积神经网络模型(即初始图像识别模型)，通过随机梯度下降法(StochasticGradient Descent，SGD)计算梯度并更新卷积神经网络模型网络权重参数(即模型参数)。具体过程是：将模型的所有参数都设为需要学习的状态，训练时神经网络对输入的一张图片进行前向计算得到预测结果，根据分类预测loss或可泛化loss得到的目标分类损失值回传到卷积神经网络模型中，通过随机梯度下降法更新网络权重参数，例如对卷积模板参数w和偏置参数b进行调整，从而实现一次权重优化。经过多个batch的样本数据训练，当损失值收敛时，就停止训练，反之，继续训练，直到完成一次全量数据的训练，即一轮学习，之后再继续判断是否需要新的一轮训练，总的来说，根据损失值可以确定模型继续训练的必要性和模型优化程度，而上述带噪训练得到的图像识别模型可也以搭载于云服务器中，提供物体识别服务。
在一种可能的实施例中，在每一个批次的样本数据对应的目标分类损失值确定之后，调整模型参数的同时还需要更新记忆单元(memory bank)，更具体的是更新记忆单元中存储的场景类别判定信息。具体可参见图6，是更新记忆单元的示意图。由于样本数据划分为多个batch进行处理，记忆单元中的相关信息的更新也是以batch为周期进行更新，也即每个batch结束时模型自动更新memory bank。其中，当前批次样本数据作为更新依据，会先临时存储在新信息单元中，具体存储的是样本图像对应的特征向量，然后根据当前批次样本数据的特征向量和记忆单元中存储的相关信息进行计算比较，对记忆单元中的场景类别判定信息进行自动更新，包括参考类别向量以及参考相似度阈值，每一次记忆单元更新影响的都是输入下一批次样本数据的目标分类损失值计算。示例的，如果记忆单元中存储了第一个batch和第二个batch中样本数据对应的场景类别判定信息，当第三个batch的样本数据输入图像识别模型后，得到对应的特征向量，先临时存储在新信息单元中，然后与记忆单元中存储第一个batch和第二个batch样本数据对应的场景类别判定信息进行计算比较，确定了目标分类损失值，并回传到图像识别模型中，此时将根据第三个batch的样本数据对记忆单元中原有的场景类别判定信息进行更新，例如加入新的场景类别判定信息，或者对原有的场景类别判定信息进行替换，当场景类别判定信息更新完之后且模型参数也根据回传的目标分类损失值更新完之后，再处理第四个batch样本数据，此时记忆单元中存储了第一个batch、第二个batch以及第三个batch的样本数据对应的场景类别判定信息，重复上述操作，直到完成一次样本数据集训练。通过直接学习全部样本数据，并对歧义样本采用泛化处理，可以提升数据使用效率，可避免直接噪声学习因抑制噪声造成某些带有其他类别信息的噪声样本无法得到有效利用，从而提高模型对实际类别的泛化能力。
需要说明的是，memory bank是在线学习，也就是不需要在一开始就提供完整的训练数据集，而是随着更多的实时数据到达，模型会在操作中不断地更新相关参数，利用memory bank在模型学习过程中记录见到的样本同时用于表征类别，可以提高模型对歧义样本的自我感知能力。
具体的，对于场景类别判定信息中包括的参考类别向量对应的更新方式可以包括：首先针对目标场景类别，获取属于目标场景类别标签的一个或多个目标样本图像的特征向量，其中，目标场景类别标签为样本数据集中包括的多个标注场景类别标签中的任一个。目标样本图像的特征向量是从当前批次样本数据对应的特征向量中获取得到的，具体是存储在新信息单元中该批次的所有样本数据的特征向量。由于每个批次样本数据中的多个标注场景类别标签可以归类为至少一种场景类别，每种场景类别对应了一个或多个样本图像，因此，目标场景类别标签也可以是该批次样本数据包括的多个标注场景类别标签中的任一个，且每个目标场景类别标签都是不同的场景类别。举例来说，该批次样本数据中包括1024组样本数据，包括1024张样本图像和对应的1024个标注场景类别标签，而1024个标注场景类别标签对应的场景类别一共有50种，因此，目标场景类别标签也有50个，遍历每一种场景类别。
然后根据一个或多个目标样本图像的特征向量确定相应场景类别的更新参照类别向量。具体的，是将批次样本数据中同一场景类别的目标样本图像的特征向量取平均值，得到各场景类别的平均特征向量，并将其作为更新参照类别向量，根据上述示例，如果有50种场景类别，则对应有50个更新参照类别向量，并根据该更新参照类别向量对记忆单元存储的相应场景类别的参考类别向量进行更新。鉴于每一个参考类别向量都是对场景类别的一种表达，也即对记忆单元中的类别表达更新，而对于本batch没被采样到的类别(即本batch不包括的场景类别)，不更新相应的类别表达，具体的更新表达式如下式(4)：
Cmem＝a1Cmem+a2Cembedding (4)
其中，a1、a2为预设参数，Cmem为记忆单元中存储的参考类别向量，Cembedding为更新参照类别向量。
预设参数a1、a2属于人工经验值。由于确定更新参照类别向量时，是将目标场景类别中包括歧义样本和非歧义样本对应的特征向量统一计算，根据歧义样本或非歧义样本对参考类别向量更新的贡献程度，可以对预设参数进行调整。示例的，当更新参照类别向量中存在歧义样本对应的特征向量占比较大，会导致更新参照类别向量不准确，此时需要将a2调整为较小的值，a1调整为较大的值，而使得记忆单元中原有的参考类别向量变动较小，减小更新过程中的误差。可选的，在计算各场景类别的平均特征向量时，可以根据非歧义样本计算，而将歧义样本对应的特征向量排除在外，也就是在目标样本图像的选取中，是参考场景类别标签与标注场景类别标签相匹配的样本图像，这样得到的更新参照类别向量会更准确。
对于场景类别判定信息中包括的参相似度阈值对应的更新方式可以包括：首先针对目标场景类别，确定属于目标场景类别标签的目标样本图像的数量。目标场景类别标签和上述更新参考类别向量时的定义相同。在批次样本数据中的每种目标场景类别包括至少一个目标样本图像，对应的，会获取初始图像识别模型确定的各目标样本图像与目标场景类别标签之间的匹配值，也就是目标样本图像属于目标场景类别标签的预测概率，然后根据该匹配值以及目标样本图像的数量，确定目标场景类别的新的参考相似度阈值，再根据新的参考相似度阈值对记忆单元存储的目标场景类别的场景类别判定信息包括的参考相似度阈值进行更新。根据当前batch中各样本图像在所属类别上的预测概率，计算均值，具体表达式如下式(5)：
其中，Ci表示当前batch中类别为i的样本集合，Pji表示样本j对类别i的预测概率，i的最大取值为当前batch中场景类别的个数。
需要说明的是，若当前batch中的场景类别包括类别1和类别2，记忆单元中包括类别1，那么对于类别1和类别2的参考相似度阈值都会更新。作为一种扩展的实施例，类别阈值(即参考相似度阈值)的更新计算也可以将采用了当前batch中全部属于该类别的样本替换为类别中记忆单元推荐的类别与原始类别相同的那些样本，也就是在样本阈值的更新中，不纳入歧义样本的相关数据。此外，对于类别阈值的更新方式，可以将新的类别阈值替换记忆单元中原有的类别阈值，也可以将新的类别阈值和原有的类别阈值一同存储在记忆单元中，在比较时选择最佳的类别阈值给出相关类别标签(即参考场景类别标签)，还可以是和更新类别中心类似，选取预设参数，根据原有类别阈值和新的类别阈值的重要程度分别赋予不同的更新权重，加权计算得到一个值作为新的类别阈值，本申请实施例中的权重、类别阈值等参数的设置也可以根据数据需要修改，在此不做限制。
在一种可能的实施例中，上述步骤S401-S405的图像处理方法对应的具体学习框架可参见图7，是一种基于记忆单元的自监督可泛化场景学习框架的流程示意图，该学习框架涉及一种基于memory bank类别表达与样本粒度可泛化loss设计的自监督的训练方法。记忆单元memory bank与模型学习同步交替进行的训练框架，通过整体学习任务中加入基于无监督的快速有效的噪声判别(即记忆单元给样本图像推荐的相关类别标签)与任务修正模块(即记忆单元的更新)，并且把任务修正结果直接作用到下一轮学习中(不需要数据分阶段微调)，达到即使多次进行新标签学习也不影响学习效率的效果。
学习过程包括基础模型特征CNN提取图像的特征向量(CNN-embedding)，memorybank初始化(或每轮更新)，基于memorybank的标签预测及loss决策，最终loss计算与模型更新。当进入memory bank环节后，先有选择地更新memory bank中的类别表达，然后根据memory bank推断样本可能的标签，决定本样本数据是否采用可泛化loss，本batch内根据对各样本的判决进行loss计算，然后更新模型，完成全量数据一次训练，在本轮学习后判断是否继续训练。具体的，将样本数据中的样本图形输入CNN模型后得到对应的特征向量，同时将原始场景类别标签给到损失函数决策模块，特征向量自动更新到记忆单元模型(classmemory bank modeling)中，对于第一个batch来说，是初始化场景类别判定信息，同时经过分类器得到样本图像属于各个场景类别的预测值，根据记忆单元中的场景类别判定信息给出修正意见，可以理解为记忆单元给到样本图像的相关类别标签，根据相关类别标签和原始场景类别标签决定损失函数采用可泛化loss还是分类预测loss。这样训练模型可以不需要预先知道任何图像噪声信息，使数据得到最大化利用，根据模型自动进行类别信息表征，且逐步根据类别信息表征推断修正类别，并通过逐步迭代与反馈实现类别表征与loss修正相互促进，避免模型陷入局部最优，保证模型学习是向识别效果更佳的方向进行。
综上所述，本申请实施例至少具备如下优点：
在利用样本数据对初始图像识别模型训练的过程中，直接学习了全部样本数据，不需要投入额外的人力标注干净样本或歧义样本，而是利用记忆单元辅助初始图像识别模型训练，自动判别和修正歧义样本，具体是根据其存储是场景类别判定信息和样本数据确定目标分类损失值，并不断迭代场景类别判定信息，使得场景类别判定信息和目标分类损失值的相互促进，保证模型学习的最佳效果，降低学习过程中存在的偏差，提高模型对歧义样本的自我感知能力，其中，针对歧义样本计算的可泛化损失函数提高模型对歧义样本的处理能力，提升了数据的利用效率，实现模型对场景类别的自我感知与自监督校验数据的迭代式学习，避免了离线学习噪声权重或更新标签造成的单次偏差造成模型陷入局部最优，而整体模型训练高效利用所有样本数据进行弱监督学习，将样本的标注场景类别标签和记忆单元自监督学习结合，提升了图像识别效果。
请参见图8，是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如图像处理装置为一个应用软件；该图像处理装置以用于执行本申请实施例提供的方法中的相应步骤。该图像处理装置80包括：获取模块801和处理模块802，其中：
获取模块801，用于获取待识别图像；
处理模块802，用于利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
在一实施例中，该图像处理装置80，还包括确定模块803和调整模块804，其中：
获取模块801，还用于获取样本数据集，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和所述样本图像对应的标注场景类别标签；
处理模块802，还用于将所述样本数据集输入初始图像识别模型中进行处理，提取样本图像的特征向量，并根据所述特征向量确定样本图像与各个预测场景类别标签之间的匹配值；
确定模块803，用于获取所述记忆单元存储的场景类别判定信息，根据所述特征向量和所述场景类别判定信息确定样本图像的参考场景类别标签；
确定模块803，还用于根据所述标注场景类别标签、所述参考场景类别标签以及所述样本图像与各个预测场景类别标签之间的匹配值，确定目标分类损失值；
调整模块804，用于基于所述目标分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
在一实施例中，确定模块803具体用于：当所述参考场景类别标签与所述标注场景类别标签不匹配时，根据所述样本图像与各个预测场景类别标签之间的匹配值，确定样本图像与各个参考场景类别标签之间的匹配值；确定各个参考场景类别标签对应的权重参数，并根据样本图像与各个参考场景类别标签之间的匹配值以及所述各个参考场景类别标签对应的权重参数，确定目标分类损失值。
在一实施例中，确定模块803具体还用于：确定所述特征向量与目标参考类别向量之间的目标相似度，所述目标参考类别向量为所述记忆单元中存储的任一场景类别的参考类别向量；将所述目标相似度与所述目标参考类别向量对应的参考相似度阈值进行比较；若比较结果指示所述目标相似度大于或者等于所述目标参考类别向量对应的参考相似度阈值，则将所述目标参考类别向量对应的场景类别标签作为样本图像的参考场景类别标签。
在一实施例中，该图像处理装置80还包括更新模块805，其中：
获取模块801，还用于针对目标场景类别，获取属于目标场景类别标签的一个或多个目标样本图像的特征向量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；
确定模块803，还用于根据所述一个或多个目标样本图像的特征向量确定相应场景类别的更新参照类别向量；
更新模块805，用于根据所述更新参照类别向量对所述记忆单元存储的所述相应场景类别的参考类别向量进行更新。
在一实施例中，确定模块803，还用于针对目标场景类别，确定属于目标场景类别标签的目标样本图像的数量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；
获取模块801，还用于获取所述初始图像识别模型确定的各目标样本图像与所述目标场景类别标签之间的匹配值；
确定模块803，还用于根据所述初始图像识别模型确定的目标样本图像与所述目标场景类别标签之间的匹配值以及所述目标样本图像的数量，确定所述目标场景类别的新的参考相似度阈值；
更新模块805，还用于根据所述新的参考相似度阈值对所述记忆单元存储的所述目标场景类别的场景类别判定信息包括的参考相似度阈值进行更新。
可以理解的是，本申请实施例所描述的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。另外，对采用相同方法的有益效果描述，也在此不再赘述。
请参见图9，是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备90可以包括处理器901、存储器902、网络接口903和至少一个通信总线904。其中，处理器901用于调度计算机程序，可以包括中央处理器、控制器、微处理器；存储器902用于存储计算机程序，可以包括高速随机存取存储器，非易失性存储器，例如磁盘存储器件、闪存器件；网络接口903提供数据通信功能，通信总线904负责连接各个通信元件。
其中，处理器901可以用于调用存储器中的计算机程序，以执行如下操作：
获取待识别图像；
利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
在一实施例中，处理器901还用于：获取样本数据集，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和所述样本图像对应的标注场景类别标签；将所述样本数据集输入初始图像识别模型中进行处理，提取样本图像的特征向量，并根据所述特征向量确定样本图像与各个预测场景类别标签之间的匹配值；获取所述记忆单元存储的场景类别判定信息，根据所述特征向量和所述场景类别判定信息确定样本图像的参考场景类别标签；根据所述标注场景类别标签、所述参考场景类别标签以及所述样本图像与各个预测场景类别标签之间的匹配值，确定目标分类损失值；基于所述目标分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
在一实施例中，处理器901具体用于：当所述参考场景类别标签与所述标注场景类别标签不匹配时，根据所述样本图像与各个预测场景类别标签之间的匹配值，确定样本图像与各个参考场景类别标签之间的匹配值；确定各个参考场景类别标签对应的权重参数，并根据样本图像与各个参考场景类别标签之间的匹配值以及所述各个参考场景类别标签对应的权重参数，确定目标分类损失值。
在一实施例中，处理器901具体用于：确定所述特征向量与目标参考类别向量之间的目标相似度，所述目标参考类别向量为所述记忆单元中存储的任一场景类别的参考类别向量；将所述目标相似度与所述目标参考类别向量对应的参考相似度阈值进行比较；若比较结果指示所述目标相似度大于或者等于所述目标参考类别向量对应的参考相似度阈值，则将所述目标参考类别向量对应的场景类别标签作为样本图像的参考场景类别标签。
在一实施例中，处理器901还用于：针对目标场景类别，获取属于目标场景类别标签的一个或多个目标样本图像的特征向量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；根据所述一个或多个目标样本图像的特征向量确定相应场景类别的更新参照类别向量；根据所述更新参照类别向量对所述记忆单元存储的所述相应场景类别的参考类别向量进行更新。
在一实施例中，处理器901还用于：针对目标场景类别，确定属于目标场景类别标签的目标样本图像的数量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；获取所述初始图像识别模型确定的各目标样本图像与所述目标场景类别标签之间的匹配值；根据所述初始图像识别模型确定的目标样本图像与所述目标场景类别标签之间的匹配值以及所述目标样本图像的数量，确定所述目标场景类别的新的参考相似度阈值；根据所述新的参考相似度阈值对所述记忆单元存储的所述目标场景类别的场景类别判定信息包括的参考相似度阈值进行更新。
应当理解，本申请实施例中所描述的计算机设备可以实现实施例中对数据处理方法的描述，也可执行对应实施例对数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也在此不再赘述。
此外，还应指出，本申请实施例还提供一种存储介质，该存储介质中存储了前述数据处理方法的计算机程序，该计算机程序包括程序指令，当一个或多个处理器加载并执行该程序指令，可以实现实施例一种对数据处理方法的描述，这里不再赘述，对采用相同方法的有益效果描述，也在此不再赘述。可以理解的是，程序指令可以被部署在一个或能够互相通信的多个计算机设备上执行。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法的实施例中所执行的步骤。
最后，还需说明的是，本申请的说明书和权利要求书及上述附图中的术语，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待识别图像；
利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；
其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本数据集，所述样本数据集包括多组样本数据，每组样本数据包括样本图像和所述样本图像对应的标注场景类别标签；
将所述样本数据集输入初始图像识别模型中进行处理，提取样本图像的特征向量，并根据所述特征向量确定样本图像与各个预测场景类别标签之间的匹配值；
获取所述记忆单元存储的场景类别判定信息，根据所述特征向量和所述场景类别判定信息确定样本图像的参考场景类别标签；
根据所述标注场景类别标签、所述参考场景类别标签以及所述样本图像与各个预测场景类别标签之间的匹配值，确定目标分类损失值；
基于所述目标分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
3.如权利要求2所述的方法，其特征在于，所述根据所述标注场景类别标签、所述参考场景类别标签以及所述样本图像与各个预测场景类别标签之间的匹配值，确定目标分类损失值，包括：
当所述参考场景类别标签与所述标注场景类别标签不匹配时，根据所述样本图像与各个预测场景类别标签之间的匹配值，确定样本图像与各个参考场景类别标签之间的匹配值；
确定各个参考场景类别标签对应的权重参数，并根据样本图像与各个参考场景类别标签之间的匹配值以及所述各个参考场景类别标签对应的权重参数，确定目标分类损失值。
4.如权利要求2或3所述的方法，其特征在于，每一个场景类别的场景类别判定信息包括参考类别向量和参考相似度阈值；
所述根据所述特征向量和所述场景类别判定信息确定样本图像的参考场景类别标签，包括：
确定所述特征向量与目标参考类别向量之间的目标相似度，所述目标参考类别向量为所述记忆单元中存储的任一场景类别的参考类别向量；
将所述目标相似度与所述目标参考类别向量对应的参考相似度阈值进行比较；
若比较结果指示所述目标相似度大于或者等于所述目标参考类别向量对应的参考相似度阈值，则将所述目标参考类别向量对应的场景类别标签作为样本图像的参考场景类别标签。
5.如权利要求2所述的方法，其特征在于，每一个场景类别的场景类别判定信息包括参考类别向量，所述方法还包括：
针对目标场景类别，获取属于目标场景类别标签的一个或多个目标样本图像的特征向量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；
根据所述一个或多个目标样本图像的特征向量确定相应场景类别的更新参照类别向量；
根据所述更新参照类别向量对所述记忆单元存储的所述相应场景类别的参考类别向量进行更新。
6.如权利要求2所述的方法，其特征在于，每一个场景类别的场景类别判定信息包括参考相似度阈值，所述方法还包括：
针对目标场景类别，确定属于目标场景类别标签的目标样本图像的数量，所述目标场景类别标签为所述样本数据集中包括的多个标注场景类别标签中的任一个；
获取所述初始图像识别模型确定的各目标样本图像与所述目标场景类别标签之间的匹配值；
根据所述初始图像识别模型确定的目标样本图像与所述目标场景类别标签之间的匹配值以及所述目标样本图像的数量，确定所述目标场景类别的新的参考相似度阈值；
根据所述新的参考相似度阈值对所述记忆单元存储的所述目标场景类别的场景类别判定信息包括的参考相似度阈值进行更新。
7.如权利要求5或6所述的方法，其特征在于，所述目标样本图像为对应所述目标场景类别标签且其参考场景类别标签与标注场景类别标签相匹配的样本图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待识别图像；
处理模块，用于利用图像识别模型对所述待识别图像进行处理，得到所述待识别图像中的内容所对应的场景类别；
其中，所述图像识别模型是利用记忆单元辅助训练得到的；在利用样本数据对图像识别模型进行训练的过程中，基于所述记忆单元存储的多个场景类别的场景类别判定信息，确定所述样本数据对应的分类损失值，并基于所述分类损失值对初始图像识别模型的模型参数进行调整，得到训练后的图像识别模型。
9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；
所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供网络通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行权利要求1-7任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行权利要求1-7任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110246521.5A CN113705597B (zh) | 2021-03-05 | 2021-03-05 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110246521.5A CN113705597B (zh) | 2021-03-05 | 2021-03-05 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705597A true CN113705597A (zh) | 2021-11-26 |
| CN113705597B CN113705597B (zh) | 2024-08-27 |
Family
ID=78647848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110246521.5A Active CN113705597B (zh) | 2021-03-05 | 2021-03-05 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705597B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114090568A (zh) * | 2022-01-24 | 2022-02-25 | 深圳市慧为智能科技股份有限公司 | 脏数据清除方法、装置、终端设备和可读存储介质 |
| CN114119976A (zh) * | 2021-11-30 | 2022-03-01 | 广州文远知行科技有限公司 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
| CN114155388A (zh) * | 2022-02-10 | 2022-03-08 | 深圳思谋信息科技有限公司 | 一种图像识别方法、装置、计算机设备和存储介质 |
| CN114461853A (zh) * | 2022-01-28 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 视频场景分类模型的训练样本生成方法、装置及设备 |
| CN114611637A (zh) * | 2022-05-11 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
| CN115100462A (zh) * | 2022-06-20 | 2022-09-23 | 浙江方圆检测集团股份有限公司 | 一种基于回归预测的插座分类方法 |
| CN115223103A (zh) * | 2022-09-13 | 2022-10-21 | 深圳市研超科技有限公司 | 基于数字图像处理的高空抛物检测方法 |
| CN116309918A (zh) * | 2023-03-31 | 2023-06-23 | 深圳市欧度利方科技有限公司 | 一种基于平板电脑的场景合成方法和系统 |
| CN116503686A (zh) * | 2023-03-28 | 2023-07-28 | 北京百度网讯科技有限公司 | 图像矫正模型的训练方法、图像矫正方法、装置及介质 |
| CN117058489A (zh) * | 2023-10-09 | 2023-11-14 | 腾讯科技（深圳）有限公司 | 多标签识别模型的训练方法、装置、设备及存储介质 |
| WO2024082183A1 (zh) * | 2022-10-19 | 2024-04-25 | 华为技术有限公司 | 参数调节方法、装置以及智能终端 |
| CN114461853B (zh) * | 2022-01-28 | 2024-09-27 | 腾讯科技（深圳）有限公司 | 视频场景分类模型的训练样本生成方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| CN111582342A (zh) * | 2020-04-29 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置、设备以及可读存储介质 |
| WO2020253416A1 (zh) * | 2019-06-17 | 2020-12-24 | 华为技术有限公司 | 物体检测方法、装置和计算机存储介质 |
| CN112348117A (zh) * | 2020-11-30 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 场景识别方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-05 CN CN202110246521.5A patent/CN113705597B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技（深圳）有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
| WO2020253416A1 (zh) * | 2019-06-17 | 2020-12-24 | 华为技术有限公司 | 物体检测方法、装置和计算机存储介质 |
| CN111582342A (zh) * | 2020-04-29 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置、设备以及可读存储介质 |
| CN112348117A (zh) * | 2020-11-30 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 场景识别方法、装置、计算机设备和存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119976B (zh) * | 2021-11-30 | 2024-05-14 | 广州文远知行科技有限公司 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
| CN114119976A (zh) * | 2021-11-30 | 2022-03-01 | 广州文远知行科技有限公司 | 语义分割模型训练、语义分割的方法、装置及相关设备 |
| CN114090568B (zh) * | 2022-01-24 | 2022-04-19 | 深圳市慧为智能科技股份有限公司 | 脏数据清除方法、装置、终端设备和可读存储介质 |
| CN114090568A (zh) * | 2022-01-24 | 2022-02-25 | 深圳市慧为智能科技股份有限公司 | 脏数据清除方法、装置、终端设备和可读存储介质 |
| CN114461853A (zh) * | 2022-01-28 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 视频场景分类模型的训练样本生成方法、装置及设备 |
| CN114461853B (zh) * | 2022-01-28 | 2024-09-27 | 腾讯科技（深圳）有限公司 | 视频场景分类模型的训练样本生成方法、装置及设备 |
| CN114155388A (zh) * | 2022-02-10 | 2022-03-08 | 深圳思谋信息科技有限公司 | 一种图像识别方法、装置、计算机设备和存储介质 |
| CN114155388B (zh) * | 2022-02-10 | 2022-05-13 | 深圳思谋信息科技有限公司 | 一种图像识别方法、装置、计算机设备和存储介质 |
| CN114611637A (zh) * | 2022-05-11 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
| CN115100462A (zh) * | 2022-06-20 | 2022-09-23 | 浙江方圆检测集团股份有限公司 | 一种基于回归预测的插座分类方法 |
| CN115223103A (zh) * | 2022-09-13 | 2022-10-21 | 深圳市研超科技有限公司 | 基于数字图像处理的高空抛物检测方法 |
| CN115223103B (zh) * | 2022-09-13 | 2022-11-22 | 深圳市研超科技有限公司 | 基于数字图像处理的高空抛物检测方法 |
| WO2024082183A1 (zh) * | 2022-10-19 | 2024-04-25 | 华为技术有限公司 | 参数调节方法、装置以及智能终端 |
| CN116503686A (zh) * | 2023-03-28 | 2023-07-28 | 北京百度网讯科技有限公司 | 图像矫正模型的训练方法、图像矫正方法、装置及介质 |
| CN116309918B (zh) * | 2023-03-31 | 2023-12-22 | 深圳市欧度利方科技有限公司 | 一种基于平板电脑的场景合成方法和系统 |
| CN116309918A (zh) * | 2023-03-31 | 2023-06-23 | 深圳市欧度利方科技有限公司 | 一种基于平板电脑的场景合成方法和系统 |
| CN117058489A (zh) * | 2023-10-09 | 2023-11-14 | 腾讯科技（深圳）有限公司 | 多标签识别模型的训练方法、装置、设备及存储介质 |
| CN117058489B (zh) * | 2023-10-09 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 多标签识别模型的训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705597B (zh) | 2024-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705597B (zh) | 一种图像处理方法、装置、计算机设备以及可读存储介质 | |
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN110347932B (zh) | 一种基于深度学习的跨网络用户对齐方法 | |
| CN110866530A (zh) | 一种字符图像识别方法、装置及电子设备 | |
| CN110837846A (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
| CN111666919B (zh) | 一种对象识别方法、装置、计算机设备和存储介质 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN111950728B (zh) | 图像特征提取模型的构建方法、图像检索方法及存储介质 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN110347857B (zh) | 基于强化学习的遥感影像的语义标注方法 | |
| CN114358188A (zh) | 特征提取模型处理、样本检索方法、装置和计算机设备 | |
| CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN110716792B (zh) | 一种目标检测器及其构建方法和应用 | |
| CN113569895A (zh) | 图像处理模型训练方法、处理方法、装置、设备及介质 | |
| CN112507778B (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
| CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN113065409A (zh) | 一种基于摄像分头布差异对齐约束的无监督行人重识别方法 | |
| CN111026887A (zh) | 一种跨媒体检索的方法及系统 | |
| CN112801138A (zh) | 基于人体拓扑结构对齐的多人姿态估计方法 | |
| WO2020135054A1 (zh) | 视频推荐方法、装置、设备及存储介质 | |
| CN113657473A (zh) | 一种基于迁移学习的Web服务分类方法 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN114741487B (zh) | 基于图文语义嵌入的图文检索方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |