CN111401394B - 一种图像标注方法及装置、计算机可读存储介质 - Google Patents

一种图像标注方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN111401394B
CN111401394B CN201910000549.3A CN201910000549A CN111401394B CN 111401394 B CN111401394 B CN 111401394B CN 201910000549 A CN201910000549 A CN 201910000549A CN 111401394 B CN111401394 B CN 111401394B
Authority
CN
China
Prior art keywords
image
annotation information
processed
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910000549.3A
Other languages
English (en)
Other versions
CN111401394A (zh
Inventor
邢东佳
张志鹏
寿文卉
许利群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910000549.3A priority Critical patent/CN111401394B/zh
Publication of CN111401394A publication Critical patent/CN111401394A/zh
Application granted granted Critical
Publication of CN111401394B publication Critical patent/CN111401394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图像标注方法，该方法包括：提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，参考图像集合包括至少两个具有图像标注信息的图像；图像特征向量中至少一个元素为连续值；基于待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量，得到待处理图像与参考图像集合中每个图像之间欧式距离；从参考图像集合中选取与待处理图像的欧式距离最小的至少部分图像作为目标图像集；至少基于目标图像中每个图像的图像标注信息，对待处理图像的图像标注信息进行标注处理。本发明的实施例同时公开了一种图像标注装置和计算机存储介质。

Description

一种图像标注方法及装置、计算机可读存储介质
技术领域
本发明涉及但不限于图像识别技术领域，尤其涉及一种图像标注方法及装置、计算机可读存储介质。
背景技术
在计算机进行图像识别之前，需要获取大量的具有图像标注信息的图像进行深度学习和训练，从而计算机能够根据训练好的深度学习模型来自动识别和理解图像中包含的信息。这样，标注人员来需要进行大量的重复性的判断和操作来对图像进行标注，因此，为图像进行标注的过程中难免出现标注错误的情况。
在实际应用中，图像标注错误严重影响了深度学习模型训练的准确性，为了正确得到图像的图像标注信息，现有技术中通过多个标注人员同时对同一个图像进行标注，这样不可避免地需要投入大量的人力成本和时间成本，降低了数据集优化和模型建立的效率。另外，相关技术中还涉及自动图像标注的方法，但是现有的自动图像标注方法通常需要人工提取图像中特定的特征向量，例如图像中的平均灰度值、亮度值等特征向量；若要全面地表示图像，这就需要采集多个特征向量，而采集的特征向量并不一定能完整地表征图像中所包含的信息；并且，该方法对于形态不同的图像数据不具有通用型，也就是说，该方法需要针对不同的图像特点来人工提取不同的特征向量。
发明内容
有鉴于此，本发明实施例提供一种图像标注方法及装置、计算机可读存储介质，解决了现有技术中标注效率低下、复杂的特征向量提取过程和不具有通用性等问题。
本发明实施例提供了一种图像标注方法，所述方法包括：
提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，所述参考图像集合包括至少两个个具有图像标注信息的图像；所述图像特征向量中至少一个元素为连续值；所述图像标注信息是指能够描述图像内容的信息；
基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离；
从所述参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像集；
至少基于所述目标图像集中每个图像的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
本发明实施例提供了一种图像标注装置，所述图像标注装置包括：
通信接口，用于提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，所述参考图像集合包括至少两个具有图像标注信息的图像；所述图像特征向量中至少一个元素为连续值；所述图像标注信息是指能够描述图像内容的信息；
处理器，基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离；从所述参考图像集合中选取与所述待处理图像的欧式距离最小的部分图像作为目标图像集；至少基于所述目标图像集中每个图像的的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
本发明实施例提供一种图像标注装置，所述装置包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行上述图像标注方法的步骤。
本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述图像标注方法的步骤。
本发明的实施例所提供的图像标注方法及装置、计算机可读存储介质，首先自动提取待处理图像的图像特征向量，并基于该特征向量从参考图像中检索到与待处理图像最相似的多个图像，最后基于所述多个最相似图像的图像标注信息来对待处理图像的图像标注信息进行处理；如此，在进行图像标注的过程实现了自动提取图像特征向量和自动进行图像标注，能够降低人力成本和时间成本，提高图像标注的效率；另外，提取的图像特征向量中至少一个元素为连续值，适用于各种类型的图像数据的特征提取，能够提高了图像标注方法的通用性。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本发明实施例提供的一种图像校正方法的流程示意图；
图2为本发明实施例提供的另一种图像校正方法的流程示意图；
图3为本发明实施例提供的再一种图像校正方法的流程示意图；
图4为本发明实施例提供的一种二重校正方法的示意图；
图5为本发明实施例提供的又一种图像校正方法的流程示意图；
图6为本发明实施例提供的图像标注装置的结构组成示意图；
图7为本发明实施例提供的图像标注装置的硬件结构组成示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
实施例一、
本发明实施例提供了一种图像标注方法，如图1所述，所述方法包括以下步骤：
步骤101、提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量。
其中，参考图像集合包括至少两个具有图像标注信息的图像；图像特征向量为中至少一个元素为连续值；图像标注信息是指能够描述图像内容的信息。
在本发明的其他实施例中，步骤101提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量可以通过图像标注装置来实现；图像标注装置可以是为图像添加图像标注信息的电子设备；例如可以是为图像添加图像标注信息的服务器、工业计算机等设备。
在本发明的其他实施例中，可以通过深度学习技术提取待处理图像和参考图像集合中的每个图像的有关特征，得到对应的图像特征向量。具体地，图像标注装置可以通过训练深度哈希网络，得到深度哈希编码模型，当任意一个图像输入至所述深度哈希编码模型后，都会得到能够表征该图像语义信息，且取值为连续值，其中，所述表征该图像语义信息的连续值可以是类二值哈希编码值。图像标注装置将待处理图像和参考图像集合中的图像数据输入上述深度哈希编码模型中，得到待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量。另外，上述深度哈希编码模型可以是通过采用预设的带有图像标注信息的图像作为训练图像集合训练得到的；其中，为了使得训练的深度哈希编码模型能够更加准确地得到真实的图像所表征的信息，需要预先获取大量的带有图像标注信息的图像作为训练图像集合。这里，获取的带有图像标注信息的训练图像越多越好，训练图像集合中的图像越多，则得到的深度哈希编码模型就越准确。实际应用中，所述训练图像集合中包括千级别以上的图像。需要说明的是，进行深度哈希编码模型训练时，所述训练图像集合中的图像类型至少包括待校正的图像的类型。
在实际应用中，对待处理图像进行标注时仅仅根据待处理图像的特征向量进行标注是十分片面并且不准确的，这时，就要需要获取其他图像的图像标注信息来进行对照，来确定待处理图像最终的标注信息。因此，上述方案中的参考图像集合就是指对待处理进行图像标注时的参考数据，并且参考图像集合中每个图像都是具有图像标注信息的图像。
步骤102、基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述待处理图像与参考图像集合中每个图像之间欧式距离。
其中，步骤102基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述待处理图像与参考图像集合中每个图像之间欧式距离可以通过图像标注装置来实现。在实际应用中，可以通过计算两个图像特征向量之间的欧式距离来得到相应的两个图像的相似度。在本实施例中，图像标注装置通过计算待处理图像的图像特征向量与参考图像集合中每个图像的图像特征向量之间的欧式距离，得到待处理图像与参考图像集合中每个图像的相似度。
步骤103、从参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像。
在本发明的其他实施例中，步骤103从所述参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像可以通过图像标注装置来实现。这里，图像标注装置将参考图像集合中的每个图像按照计算得到的与待处理图像之间的欧式距离由小到大排列，可以从参考图像集合中获取前M个图像作为最为相似的至少部分图像，得到目标图像集合；其中，M可以为大于等于3的正整数。
步骤104、至少基于所述目标图像集中每个图像的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
其中，步骤104至少基于所述目标图像集中每个图像的图像标注信息，为所述待处理图像的图像标注信息进行处理可以通过图像标注装置来实现。这里，使用M个目标图像的图像标注信息对待处理图像的图像标注信息进行处理；其中，两个图像相似度越高则两个图像的图像标注信息就越接近，可以根据相似图像的图像标注信息对待处理图像的图像标注信息进行处理，能够正确获取待处理图像的图像标注信息。
在本发明的其他实施例中，对所述待处理图像的图像标注信息进行处理可以包括：为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。在本实施例中，可以基于多数投票算法从所述M个目标图像的图像标注信息中确定出现次数最多图像标注信息作为最终的图像标注信息，将确定出的最终的图像标注信息作为待处理图像的图像标注信息，或者基于上述确定出的最终的图像标注信息，对待处理图像的原图像标注信息进行校正。
本发明的实施例所提供的图像标注方法及装置、计算机可读存储介质，首先自动提取待处理图像的图像特征向量，并基于该特征向量从参考图像中检索到与待处理图像最相似的至少部分图像，最后基于所述至少部分的最相似图像的图像标注信息来对待处理图像的图像标注信息进行处理；如此，在进行图像标注的过程实现了自动提取图像特征向量和自动进行图像标注，能够降低人力成本和时间成本，提高图像标注的效率；另外，提取的图像特征为连续的类二值哈希编码值，能够对待处理图像进行哈希编码，适用于各种类型的图像数据的特征提取，能够提高了图像标注方法的通用性。
实施例二、
基于前述实施例，本发明实施例提供了一种图像标注方法，如图2所示，所述方法包括以下步骤：
步骤201、图像标注装置通过训练好的深度哈希编码模型对所述待处理图像和所述参考图像集合中的每个图像进行处理，得到所述待处理图像的图像编码以及所述参考图像中每个图像对应的图像编码。
其中，所述图像编码用于表征对应图像的语义信息。
具体地，所述步骤201可以认为是将训练好的深度哈希编码模型部署与图像标注装置中，当图像标注装置开始对待处理图像进行标注处理的时候，首先将待处理图像通过所述训练好的深度哈希编码模型中，自动地得到能够表征图像的语义信息的编码；可以理解为，所述深度哈希编码模型是用于获取待处理图像的图像语义信息。在本实施例中，通过所述训练好的深度哈希编码模型后得到的图像编码是连续的类二值哈希编码。此外，对待处理图像进行处理时，图像标注装置还需要得到参考图像集合中每个图像的图像编码，同样地，将参考图像集合数据至所述训练好的深度哈希编码模型后，就能够得到参考图像集合中所有图像的图像编码。这里，参考图像集合包括至少N个具有图像标注信息的图像；N为大于等于3的正整数；所述图像标注信息是指能够描述图像内容的信息。
在上述方案中，利用了深度学习技术对待处理图像和参考图像集合中的每个图像进行图像编码，该过程能自动提取图像中的有关特征并编码，可避免复杂的特征提取过程，无需人工根据不同的图像特点提取多种不同的特征。
步骤202、图像标注装置将所述待处理图像的图像编码作为所述待处理图像的图像特征向量，并将所述参考图像中每个图像对应的图像编码最为对应图像的图像特征向量。
这里，图像特征向量为类二值哈希编码；可以理解为，所述待处理图像的图像编码作为图像的特征向量，该特征向量中每个元素都是为连续的类二值的哈希编码。一般情况下，哈希编码值是需要进行二值取整的操作；而在本实施例中，编码值就是深度哈希编码模型得到值，并不对其做二值取整的操作。如此，采用取值连续的编码，可以更好地区分各个图像之间的差别。
步骤203、图像标注装置基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离。
这里，可以通过计算两个图像特征向量之间的欧式距离来得到相应的两个图像的相似度。在本实施例中，图像标注装置通过计算待处理图像的图像特征向量与参考图像集合中每个图像的图像特征向量之间的欧式距离，得到待处理图像与参考图像集合中每个图像的相似度。
步骤204、图像标注装置从所述参考图像集合中选取与所述待处理图像的欧式距离最小的M个目标图像。
其中，M为大于等于3的正整数。
这里，图像标注装置将参考图像集合中的每个图像按照计算得到的与待处理图像之间的欧式距离由小到大排列，从参考图像集合中获取前M个图像作为最为相似的M个图像。
步骤205、图像标注装置基于所述M个目标图像的图像标注信息，获取出现次数最多的图像标注信息。
步骤206、图像标注装置基于所述出现次数最多的图像标注信息，为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。
这里，图像标注装置根据与待处理图像最相似的M个目标图像，以投票的方式得到待处理图像的图像标注信息。例如，通过步骤204得到与待处理图像最相似的5个目标图像，这5个目标图像的图像标注信息分别是“猫狗猫猫狗”，可见，出现次数最多的图像标注信息为“猫”，那么就将“猫”作为待处理图像的图像标注信息；或者将待处理图像的原图形标注信息改为“猫”。
需要说明的是，本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述，此处不再赘述。
本发明的实施例所提供的图像标注方法及装置、计算机可读存储介质，首先自动提取待处理图像的图像特征向量，并基于该特征向量从参考图像中检索到与待处理图像最相似的M个图像，最后基于所述M个最相似图像的图像标注信息来对待处理图像的图像标注信息进行处理；如此，在进行图像标注的过程实现了自动提取图像特征向量和自动进行图像标注，能够降低人力成本和时间成本，提高图像标注的效率；另外，提取的图像特征为连续的类二值哈希编码值，能够对待处理图像进行哈希编码，适用于各种类型的图像数据的特征提取，能够提高了图像标注方法的通用性。
在其他实施例中，所述深度哈希编码模型的训练过程，可以通过以下步骤实现：
步骤21、获取至少一个带有图像标注信息的图像作为训练图像集。
其中，所述训练图像集中图像标注信息的类型至少包括所述待校正图像的图像标注信息的类型。
在本发明的其他实施例中，可以通过预先获取的带有图像标注信息的图像作为训练数据；其中，为了保证训练得到的模型更准确，训练图像集中每个图像的图像标注信息需要为正确的标注信息。
步骤22、构建深度卷积神经网络，并将所述训练图像集输入至所述深度卷积神经网络中，得到第一输出结果。
具体地，设计一个卷积神经网络模型，包括卷积层、池化层、全连接层等，以步骤21中的训练图像集中的图像训练该卷积神经网络模型。
步骤23、根据所述第一输出结果和预设的损失函数调整所述卷积神经网络，得到所述训练好的深度哈希编码模型。
这里，所述步骤23，可以是：首先，利用所述预设的损失函数，确定所述第一输出结果和输入的图像标注信息表征的编码之间的差值；然后，根据所述差值调整所述卷积神经网络，得到训练好的所述深度哈希编码模型。也就是说，首先，利用所述预设的损失函数，确定所述第一输出结果对应的编码信息和输入的训练图像对应的正确的图像标注信息表征的向量之间的差值，然后将该差值反馈到卷积神经网络的每一层，并根据这个差值对每一层进行调整，以使得深度哈希编码模型输出的编码与真实的编码值相同。
在本实施例中，在最后一个全连接层获得代表图像语义信息的取值为连续值的图像编码。
实施例三、
基于前述实施例，本发明实施例提供一种图像标注方法，如图3所示，所述方法包括以下步骤：
步骤301、图像标注装置通过训练好的深度哈希编码模型对所述待处理图像和所述参考图像集合中的每个图像进行处理，得到所述待处理图像的图像编码以及所述参考图像中每个图像对应的图像编码。
步骤302、图像标注装置将所述待处理图像的图像编码作为所述待处理图像的图像特征向量，并将所述参考图像中每个图像对应的图像编码最为对应图像的图像特征向量。
步骤303、图像标注装置基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离。
步骤304、图像标注装置从所述参考图像集合中选取与所述待处理图像的欧式距离最小的M个目标图像。
步骤305、基于第i个目标图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述第i个目标图像与参考图像之间欧式距离，并从所述参考图像中获取与所述第i个目标图像欧式距离最小的M个第i图像。
其中，所述i为大于等于1且小于等于M的整数。
在实际应用中，若参考图像集合中部分图像的图像标注信息是错误的，而基于错误的图像标注信息对待处理图像进行标注处理，更会造成为待处理图像的添加错误的图像标注信息的问题。
基于上述问题的考虑，本发明实施例提供了二重校正的方法。具体地，在为待处理图像选择出M个目标图像之后，再继续为所述M个目标图像中的每个图像寻找相似图像，即寻找第二重相似图像。
与前述实施例中的方法相似，基于图像的特征向量计算两个图像之间的欧式距离来得到两个图像之间的相似度。具体地，基于第i个目标图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述第i个目标图像与参考图像之间欧式距离，并从所述参考图像中获取与所述第i个目标图像欧式距离最小的M个第i图像。这里，i的取值从1遍历至M，也就是说，图像标注装置可以从第1个目标图像遍历至第M个目标图像，得到每个目标图像最相似的图像。
在其他实施例中，待处理图像可以获取M个与其相似的目标图像，而每个目标图像可以获取M个与目标图像相似的图像；这里，两个M的取值可以为相同的正整数，也可以为不同的正整数，本发明实施例在此不做限定。
步骤306、至少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，得到校正后的第i个目标图像的图像标注信息。
这里，可以通过多数投票算法，对目标图像中的中的每个图像的图像标注信息进行校正，得到每个目标图像正确的图像标注信息。
具体地，少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，得到校正后的第i个目标图像的图像标注信息，包括：
基于所述N个第i图像的图像标注信息，获取出现次数最多的图像标注信息；
基于所述出现次数最多的图像标注信息，对所述第i个目标图像的图像标注信息进行校正。
步骤307、图像标注装置基于所述M个目标图像的图像标注信息，获取出现次数最多的图像标注信息。
步骤308、图像标注装置基于所述出现次数最多的图像标注信息，为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。
具体地，基于校正后的，正确的目标图像的图像标注信息，对待处理图像的图像标注信息进行标注处理；如此，能够提高对待处理图像进行标注时或者校正时的准确性。
示例性地，以M取值为5详细说明二重校正过程。图像标注装置从参考图像集合中得到与待处理图像最为相似的M个目标图像，分别为B1-B5；另外，图像标注装置从参考图像集合中得到与每个目标图像对应的最相似的5个图像，其中，用Ci1-Ci5表示目标图像Bi的相似图像。如图4所示，用L表示图像标注信息，根据Ci1-Ci5的图像标注信息LCi1-LCi5投票校正LBI，再根据校正后的目标图像B1-B5的图像标注信息LB1-LB5来校正或者标注待处理图像的图像标注信息。
需要说明的是，本发明实施例在二重校正的基础上还可以实现多重校正。这里，以三重校正为例进行说明；具体地，基于步骤305，通过计算欧式距离的方法，继续从参考图像集合中选与第i图像集合中每个图像相似的M个图像，基于该M个图像的图像标注信息对第i图像集合中每个图像的标注信息进行校正，得到第i图像中每个图像校正后的图像标注信息；此为第一重校正。进一步，根据第i图像中每个图像校正后的图像标注信息，对第i个目标图像的图像标注信息进行校正，此为第二重校正；最后，基于M个目标图像的图像标注信息，对待处理图像的图像标注信息进行校正或标注处理，此为第三重校正。进行多重校正的过程与上文中的描述类似，本实施例在此不做赘述。
需要说明的是，本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述，此处不再赘述。
本发明的实施例所提供的图像标注方法及装置、计算机可读存储介质，首先自动提取待处理图像的图像特征向量，并基于该特征向量从参考图像中检索到与待处理图像最相似的M个图像，最后基于所述M个最相似图像的图像标注信息来对待处理图像的图像标注信息进行处理；如此，在进行图像标注的过程实现了自动提取图像特征向量和自动进行图像标注，能够降低人力成本和时间成本，提高图像标注的效率；另外，提取的图像特征为连续的类二值哈希编码值，能够对待处理图像进行哈希编码，适用于各种类型的图像数据的特征提取，能够提高了图像标注方法的通用性。
实施例四、
基于前述实施例，本发明实施例提供一种图像标注方法，如图5所示，所述方法包括以下步骤：
步骤501、获取训练图像集X。
其中，所述训练图像集中至少包括一个带有图像标注信息的图像。
步骤502、基于所述训练图像集X训练得到深度哈希编码模型。
步骤503、基于所述深度哈希编码模型对待处理图像A行处理，得到所述待处理图像A图像特征向量。
步骤504、基于所述深度哈希编码模型对参考图像集合Y中的每个图像进行处理，得到所述参考图像集合Y中每个图像的图像特征向量。
需要说明的是，参考图像集合Y和训练图像集合X具有相同类别的图像标注信息。例如，训练图像集X中图像标注信息的类别为“猫”、“狗”、“鸟”等，那么，参考图像集合中的图像标注信息类别也是“猫”、“狗”、“鸟”，或者是“猫”、“狗”、“鸟”的子集。
步骤505、基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像A与参考图像集合Y中每个图像之间欧式距离。
步骤506、从所述参考图像集合Y中选取与所述待处理图像A的欧式距离最小的M个目标图像B1-BM。
其中，M为大于等于3的正整数；
步骤507、基于目标图像Bi的图像特征向量和所述参考图像集合Y中每个图像的图像特征向量，计算所述目标图像Bi与参考图像Y之间欧式距离，并从所述参考图像中获取与所述目标图像Bi欧式距离最小的M个图像Ci1-CiM。
其中，所述i为大于等于1且小于等于M的整数。
在本发明的其他实施例中，图像标注装置遍历M个目标图像分别得到与目标图像Bi(i＝1，…，M)最相似的M张图像Cij(j＝1，…，M)。
步骤508、根据与Bi相似的M张图像Ci1-CiM的图像标注信息，得到Bi校正后的图像标注信息。
具体地，根据与Bi最相似的M张图Cij(j＝1，…，M)的图像标注信息得到Bi校正后的图像标注信息。进一步，通过采用多数投票算法对Bi的图像标注信息进行校正，得到Bi校正后的图像标注信息。
步骤509、根据B1-BM校正后的图像标注信息，得到待处理图像A校正后的图像标注信息。
具体地，采用多数投票算法对待处理图像A的图像标注信息进行校正。
需要说明的是，本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述，此处不再赘述。
实施例五、
为实现本发明实施例的方法，本发明实施例还提供了一种图像标注装置，如图6所示，所述图像标注装置包括：
通信接口61，用于提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，所述参考图像集合包括至少两个具有图像标注信息的图像；所述图像特征向量中至少一个元素为连续值；所述图像标注信息是指能够描述图像内容的信息；
处理器62，基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离；从所述参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像；至少基于所述目标图像集中每个图像的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
在本发明的其他实施例中，所述处理器62，用于基于所述目标图像中每个图像的图像标注信息，获取出现次数最多的图像标注信息；基于所述出现次数最多的图像标注信息，为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。
在本发明的其他实施例中，所述处理器62，还用于基于第i个目标图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述第i个目标图像与参考图像之间欧式距离，并从所述参考图像中获取与所述第i个目标图像欧式距离最小的M个第i图像；其中，所述i正整数，i大于等于1且小于等于所述目标图像集中图像的总数；所述M为正整数；至少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，得到校正后的第i个目标图像的图像标注信息。
在本发明的其他实施例中，所述处理器62，还用于基于所述M个第i图像的图像标注信息，获取出现次数最多的图像标注信息；基于所述出现次数最多的图像标注信息，对所述第i个目标图像的图像标注信息进行校正。
在本发明的其他实施例中，所述通信接口61，具体用于通过训练好的深度哈希编码模型对所述待处理图像和所述参考图像集合中的每个图像进行处理，得到所述待处理图像的图像编码以及所述参考图像中每个图像对应的图像编码；其中，所述图像编码用于表征对应图像的语义信息；将所述待处理图像的图像编码作为所述待处理图像的图像特征向量；将所述参考图像中每个图像对应的图像编码最为对应图像的图像特征向量。
在本发明的其他实施例中，所述通信接口61，用于获取至少一个带有图像标注信息的图像作为训练图像集；其中，所述训练图像集中图像标注信息的类型至少包括所述待校正图像的图像标注信息的类型；
所述处理器62，还用于构建深度卷积神经网络，并将所述训练图像集输入至所述深度卷积神经网络中，得到第一输出结果；根据所述第一输出结果和预设的损失函数调整所述卷积神经网络，得到所述训练好的深度哈希编码模型。
基于上述图像标注装置中各单元的硬件实现，为了实现本发明实施例提供的图像标注方法，本发明实施例还提供了一种图像标注装置，如图7所示，所述装置70包括：处理器71和配置为存储能够在处理器上运行的计算机程序的存储器72，
其中，所述处理器71配置为运行所述计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图7所示，该装置70中的各个组件通过总线系统73耦合在一起。可理解，总线系统73用于实现这些组件之间的连接通信。总线系统73除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统73。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器72，上述计算机程序可由图像标注装置70的处理器71执行，以完成前述方法所述步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种图像标注方法，其特征在于，所述方法包括：
提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，所述参考图像集合包括至少两个具有图像标注信息的图像；所述图像特征向量中至少一个元素为连续值；所述图像标注信息是指能够描述图像内容的信息；
基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离；
从所述参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像集；
至少基于所述目标图像集中每个图像的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
2.根据权利要求1所述的方法，其特征在于，所述至少基于所述目标图像集中每个图像的图像标注信息，为所述待处理图像的图像标注信息进行标注处理，包括：
基于所述目标图像集中每个图像的图像标注信息，获取出现次数最多的图像标注信息；
基于所述出现次数最多的图像标注信息，为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像集中每个图像的图像标注信息，获取出现次数最多的图像标注信息之前，还包括：
基于第i个目标图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述第i个目标图像与参考图像之间欧式距离，并从所述参考图像中获取与所述第i个目标图像欧式距离最小的M个第i图像；其中，所述i为正整数，i大于等于1且小于等于所述目标图像集中图像的总数；所述M为正整数；
至少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，得到校正后的第i个目标图像的图像标注信息。
4.根据权利要求3所述的方法，其特征在于，所述至少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，包括：
基于所述M个第i图像的图像标注信息，获取出现次数最多的图像标注信息；
基于所述出现次数最多的图像标注信息，对所述第i个目标图像的图像标注信息进行校正。
5.根据权利要求1所述的方法，其特征在于，所述提取待处理图像的图像特征和参考图像集合中每个图像的图像特征，包括：
通过训练好的深度哈希编码模型对所述待处理图像和所述参考图像集合中的每个图像进行处理，得到所述待处理图像的图像编码以及所述参考图像中每个图像对应的图像编码；其中，所述图像编码用于表征对应图像的语义信息；
将所述待处理图像的图像编码作为所述待处理图像的图像特征向量；
将所述参考图像中每个图像对应的图像编码最为对应图像的图像特征向量。
6.根据权利要求5所述的方法，其特征在于，所述深度哈希编码模型的训练过程包括：
获取至少一个带有图像标注信息的图像作为训练图像集；其中，所述训练图像集中图像标注信息的类型至少包括所述待校正图像的图像标注信息的类型；
构建深度卷积神经网络，并将所述训练图像集输入至所述深度卷积神经网络中，得到第一输出结果；
根据所述第一输出结果和预设的损失函数调整所述卷积神经网络，得到所述训练好的深度哈希编码模型。
7.一种图像标注装置，其特征在于，所述图像标注装置包括：
通信接口，用于提取待处理图像的图像特征向量和参考图像集合中每个图像的图像特征向量；其中，所述参考图像集合包括至少两个具有图像标注信息的图像；所述图像特征向量中至少一个元素为连续值；所述图像标注信息是指能够描述图像内容的信息；
处理器，基于所述待处理图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，得到所述待处理图像与参考图像集合中每个图像之间欧式距离；从所述参考图像集合中选取与所述待处理图像的欧式距离最小的至少部分图像作为目标图像集；至少基于所述目标图像集中每个图像的图像标注信息，对所述待处理图像的图像标注信息进行标注处理。
8.根据权利要求7所述的装置，其特征在于，所述处理器，用于基于所述目标图像集中每个图像的图像标注信息，获取出现次数最多的图像标注信息；基于所述出现次数最多的图像标注信息，为所述待处理图像添加图像标注信息或校正所述待处理图像的图像标注信息。
9.根据权利要求8所述的装置，其特征在于，所述处理器，还用于基于第i个目标图像的图像特征向量和所述参考图像集合中每个图像的图像特征向量，计算所述第i个目标图像与参考图像之间欧式距离，并从所述参考图像中获取与所述第i个目标图像欧式距离最小的M个第i图像；其中，所述i为正整数，i大于等于1且小于等于所述目标图像集中图像的总数；所述M为正整数；至少基于所述M个第i图像的图像标注信息，对所述第i个目标图像的图像标注信息进行校正，得到校正后的第i个目标图像的图像标注信息。
10.根据权利要求9所述的装置，其特征在于，所述处理器，还用于基于所述N个第i图像的图像标注信息，获取出现次数最多的图像标注信息；基于所述出现次数最多的图像标注信息，对所述第i个目标图像的图像标注信息进行校正。
11.根据权利要求7所述的装置，其特征在于，所述通信接口，具体用于通过训练好的深度哈希编码模型对所述待处理图像和所述参考图像集合中的每个图像进行处理，得到所述待处理图像的图像编码以及所述参考图像中每个图像对应的图像编码；其中，所述图像编码用于表征对应图像的语义信息；将所述待处理图像的图像编码作为所述待处理图像的图像特征向量；将所述参考图像中每个图像对应的图像编码最为对应图像的图像特征向量。
12.根据权利要求11所述的装置，其特征在于，所述通信接口，用于获取至少一个带有图像标注信息的图像作为训练图像集；其中，所述训练图像集中图像标注信息的类型至少包括所述待校正图像的图像标注信息的类型；
所述处理器，还用于构建深度卷积神经网络，并将所述训练图像集输入至所述深度卷积神经网络中，得到第一输出结果；根据所述第一输出结果和预设的损失函数调整所述卷积神经网络，得到所述训练好的深度哈希编码模型。
13.一种图像标注装置，所述装置包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至6任一项所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的图像标注方法的步骤。
CN201910000549.3A 2019-01-02 2019-01-02 一种图像标注方法及装置、计算机可读存储介质 Active CN111401394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910000549.3A CN111401394B (zh) 2019-01-02 2019-01-02 一种图像标注方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910000549.3A CN111401394B (zh) 2019-01-02 2019-01-02 一种图像标注方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111401394A CN111401394A (zh) 2020-07-10
CN111401394B true CN111401394B (zh) 2023-04-07

Family

ID=71430187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910000549.3A Active CN111401394B (zh) 2019-01-02 2019-01-02 一种图像标注方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111401394B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101156B (zh) * 2020-09-02 2024-08-27 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置和电子设备
CN112597328B (zh) * 2020-12-28 2022-02-22 推想医疗科技股份有限公司 标注方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121018A1 (zh) * 2016-12-30 2018-07-05 腾讯科技（深圳）有限公司 图片识别方法、装置、服务器及存储介质
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121018A1 (zh) * 2016-12-30 2018-07-05 腾讯科技（深圳）有限公司 图片识别方法、装置、服务器及存储介质
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于稀疏表达的图像自动标注;崔晓萍等;《山东师范大学学报(自然科学版)》(第03期);全文 *
基于距离测度学习的AP聚类图像标注;王浩等;《计算机工程与应用》(第23期);全文 *

Also Published As

Publication number Publication date
CN111401394A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN112559784B (zh) 基于增量学习的图像分类方法及系统
CN110532397B (zh) 基于人工智能的问答方法、装置、计算机设备及存储介质
US11651578B2 (en) End-to-end modelling method and system
CN107111782B (zh) 神经网络结构及其方法
CN111144548B (zh) 抽油机井工况的识别方法及装置
CN109858476B (zh) 标签的扩充方法和电子设备
CN110866115B (zh) 序列标注方法、系统、计算机设备及计算机可读存储介质
CN111401394B (zh) 一种图像标注方法及装置、计算机可读存储介质
CN109271957B (zh) 人脸性别识别方法以及装置
CN112597984B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN112307820B (zh) 文本识别方法、装置、设备和计算机可读介质
CN112560964A (zh) 基于半监督学习训练中草药病虫害识别模型的方法与系统
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
CN107239532B (zh) 数据挖掘方法及装置
CN112861519B (zh) 医疗文本纠错方法、装置以及存储介质
CN111898735A (zh) 蒸馏学习方法、装置、计算机设备和存储介质
CN112417947B (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
CN115841596A (zh) 多标签图像分类方法及其模型的训练方法、装置
CN117372971A (zh) 对象识别方法、装置、计算机设备和存储介质
CN116798053A (zh) 图标生成方法及装置
CN113449524A (zh) 一种命名实体识别方法、系统、设备以及介质
CN111897535A (zh) 语法纠错方法、装置、计算机系统及可读存储介质
CN117710763A (zh) 图像噪声识别模型训练方法、图像噪声识别方法及装置
CN113496119A (zh) 抽取表格中的元组数据的方法、电子设备和计算机可读介质
CN111221995B (zh) 一种基于大数据和集合理论的序列匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant