CN112925938A - 一种图像标注方法、装置、电子设备及存储介质 - Google Patents
一种图像标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112925938A CN112925938A CN202110116990.5A CN202110116990A CN112925938A CN 112925938 A CN112925938 A CN 112925938A CN 202110116990 A CN202110116990 A CN 202110116990A CN 112925938 A CN112925938 A CN 112925938A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel point
- image block
- information corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000002372 labelling Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 210000000056 organ Anatomy 0.000 abstract description 2
- 210000004072 lung Anatomy 0.000 description 18
- 238000012549 training Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像标注方法、装置、电子设备及存储介质，其中，该图像标注方法包括：获取待进行标注的目标图像；对目标图像进行分块，得到多个图像块；对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；对编码处理后的多个图像块中的部分图像块进行类别标注，得到标注图像块；基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息；以及，基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注。通过本公开实施例提供的图像标注方法能够在医疗领域中快速标注出病人器官图像中的病灶区域，从而有效辅助用户进行临床诊断。
Description
技术领域
本公开涉及图像识别技术领域，具体而言，涉及一种图像标注方法、装置、电子设备及存储介质。
背景技术
随着人工神经网络的研究工作不断深入，已经取得了很大的进展，比如在图像识别领域，可以训练对图像进行识别的神经网络，比如训练对图像进行目标检测的神经网络，可以通过检测框标注出图像中的目标对象；还比如可以训练对图像进行语义分割的神经网络，可以确定出图像中包含的目标对象的轮廓。
在训练对图像进行识别的神经网络时，需要获取大量的训练样本，每个训练样本中均需要有大量的标注数据，比如目标对象的检测框标注数据，目标对象的轮廓标注数据等，这些标注数据需要付出大量通过手工进行标注，效率较低。
发明内容
本公开实施例至少提供一种图像标注方案。
第一方面，本公开实施例提供了一种图像标注方法，包括：
获取待进行标注的目标图像；
对所述目标图像进行分块，得到多个图像块；
对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；
对编码处理后的所述多个图像块中的部分图像块进行类别标注，得到标注图像块；
基于所述各图像块对应的编码信息以及所述标注图像块的编码信息，确定所述各图像块对应的类别信息；以及
基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注。
本公开实施例中，根据每个图像块对应的编码信息，以及少量的预先标注类别的标注图像块的编码信息，可以确定多个图像块中每个图像块对应的类别信息，进一步可以基于目标图像对应的标注方式和各图像块对应的类别信息完成对目标图像的标注，该过程基于少量的标注类别的标注图像块即可以完成对整张目标图像的标注，大大节省了标注时间，提高了标注效率，示例性地，通过使用本公开实施例提供的图像标注方法能够在医疗领域中快速标注出病人器官图像中的病灶区域，有效辅助用户进行临床诊断。
在一种可能的实施方式中，所述对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息，包括：
将所述各图像块输入神经网络，通过所述神经网络提取所述各图像块包含的图像特征；以及
通过所述神经网络，基于所述各图像块的图像特征确定所述各图像块对应的编码信息。
本公开实施例中，通过引入预先训练的用于进行编码的神经网络提前建立图像特征与编码信息之间的映射关系，从而在提取到图像块的图像特征后，可以快速确定该图像块对应的编码信息。
在一种可能的实施方式中，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行矩形框标注的情况下，获取对应类别信息相同的图像块；以及
按照所述对应类别信息相同的图像块的最小外围矩形框对所述目标图像进行标注。
本公开实施例中，通过识别出的目标图像包含的各图像块对应的类别信息，可以完成对目标图像中包含的类别信息相同的图像块的标注，示例性地，可以标注出目标图像中包含的各个目标对象的矩形框，该过程无需用户进行手工标注，大大节省标注时间，提高标注效率。
在一种可能的实施方式中，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行轮廓标注的情况下，基于所述各图像块对应的类别信息以及所述各图像块包含的像素点，确定所述目标图像中各个像素点对应的类别信息；
获取所述目标图像中各个像素点的属性特征，并基于所述各个像素点对应的类别信息和属性特征，确定目标像素点，其中，所述目标像素点为待进行类别信息调整的像素点；
在存在所述目标像素点的情况下，基于与所述目标像素点对应属性特征相同的像素点的类别信息，对所述目标像素点对应的类别信息进行调整，得到所述目标图像中各个像素点对应的目标类别信息；以及
基于所述目标图像中所述各个像素点对应的目标类别信息，对属于同一目标类别的像素点构成的目标对象的轮廓进行标注。
本公开实施例中，在确定存在类别信息不准确的目标像素点时，能够基于目标图像包含的各个像素点对应的类别信息以及属性特征，准确地确定出各个像素点对应的目标类别信息，从而得到准确度较高的分割标注结果。
在一种可能的实施方式中，所述基于各个像素点对应的类别信息和属性特征，确定目标像素点，包括：
选择所述各个像素点中的至少一个作为第一像素点；基于所述第一像素点的属性特征，确定所述第一像素点和与其相邻的第二像素点的属性特征的差异值；
在所述差异值大于预设阈值的情况下，选择至少一个第三像素点，其中，所述第三像素点为具有与所述第一像素点相同的属性特征的像素点；以及
在所述第一像素点对应的类别信息与所述第三像素点对应的类别信息不一致的情况下，将所述第一像素点作为所述目标像素点。
本公开实施例中，通过相邻像素点之间的属性特征以及类别信息，可以快速确定出待进行类别信息调整的目标像素点，比如如果一个像素点与相邻像素点的属性特征的差异值较大，且给该像素点和与其属性特征相同的其它像素点的类别信息也不相同，可以大概率确定出该像素点的类别信息有误，因此按照该方式可以快速确定出待进行类别信息调整的目标像素点。
在一种可能的实施方式中，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行分类标注的情况下，基于各图像块对应的类别信息，确定每种类别信息对应的图像块个数；以及
基于每种类别信息对应的图像块个数，确定所述目标图像的类别信息。
本公开实施例中，通过确定目标图像包含的每种类别信息对应的图像块个数，可以快速确定该目标图像的类别信息。
在一种可能的实施方式中，所述图像标注方法还包括：
对所述目标图像进行标注后，响应于针对目标图像块的标注类别更新指示，对所述标注图像块的类别信息进行更新；以及
返回执行基于所述各图像块对应的编码信息以及所述标注图像块的编码信息，确定所述各图像块对应的类别信息的步骤。
本公开实施例中，可以基于目标图像的标注结果对标注图像块的标注类别进行更新，从而提高目标图像标注结果的准确度和/或完整性。
在一种可能的实施方式中，按照以下方式预先训练所述用于进行编码的神经网络：
获取多个样本图像，并对每个样本图像进行分块，得到多个样本图像块以及每个样本图像块的位置信息；
基于每个样本图像块的位置信息，确定第一样本图像块对和第二本图像块对，其中，所述第一样本图像块对中的两个样本图像块之间的距离小于或等于设定阈值，以及所述第二样本图像块对中的两个样本图像块之间的距离大于所述设定阈值；
分别将所述第一样本图像块对和所述第二样本图像块对输入待训练的神经网络，得到每个样本图像块对应的预测编码信息；以及
基于每个样本图像块对应的预测编码信息，对所述待训练的神经网络的网络参数进行调整，得到训练完成的用于进行编码的神经网络。
本公开实施例中，在训练用于进行编码的神经网络的过程中，通过引入相互距离小于或等于设定阈值的第一样本图像块对以及相互距离大于设定阈值的第二样本图像块对，对该神经网络进行训练，这样基于空间上距离较近的样本图像块之间的图像特征的相似度较高的思想，可以准确得到用于基于图像块确定该图像块对应的编码信息的神经网络。
第二方面，本公开实施例提供了一种图像标注装置，包括：
图像获取模块，用于获取待进行标注的目标图像；
图像切分模块，用于对所述目标图像进行分块，得到多个图像块；
图像编码模块，用于对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；
第一标注模块，用于对编码处理后的所述多个图像块中的部分图像块进行类别标注，得到标注图像块；
类别确定模块，用于基于各图像块对应的编码信息以及所述标注图像块的编码信息，确定各图像块对应的类别信息；
第二标注模块，用于基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的图像标注方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的图像标注方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像标注方法的流程图；
图2示出了本公开实施例所提供的一种确定编码信息的流程图；
图3示出了本公开实施例所提供的一种训练神经网络的方法流程图；
图4示出了本公开实施例所提供的第一种具体的图像标注方法流程图；
图5示出了本公开实施例所提供的第二种具体的图像标注方法流程图；
图6示出了本公开实施例所提供的第二种具体的图像标注方法流程图；
图7a示出了本公开实施例所提供的一种肺部图像示意图；
图7b示出了本公开实施例所提供的一种肺部图像包含的标注图像块的示意图；
图7c示出了本公开实施例所提供的一种肺部图像的标注示意图；
图8示出了本公开实施例所提供的一种图像标注装置的结构示意图；
图9示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
针对进行图像识别的神经网络的训练过程，需要对大量图像进行标注，比如针对训练图像检测类的神经网络，需要对每个图像样本进行检测框标注，针对进行实例分割的神经网络的训练过程，需要对大量图像样本中各个实例的轮廓进行标注，然后基于标注好的图像样本，对进行图像检测类的神经网络进行训练，为了训练得到精度较高的神经网络，需要大量的有标注的图像样本，标注过程需要人力消耗大量时间对图像样本中的各个目标对象进行标注，消耗时间久，效率较低。
基于上述研究，本公开提供了一种图像标注方法，针对每个待标注的目标图像，可以对该目标图像进行分块处理，得到多个图像块，然后根据预先训练的用于进行编码的神经网络，确定每个图像块对应的编码信息，进一步根据每个图像块对应的编码信息，以及少量的预先标注类别的标注图像块的编码信息，可以确定多个图像块中每个图像块对应的类别信息，进一步可以基于目标图像对应的标注方式和各图像块对应的类别信息完成对目标图像的标注，该过程基于少量的标注类别的标注图像块即可以完成对整张目标图像的标注，大大节省了标注时间，提高了标注效率。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像标注方法进行详细介绍，本公开实施例所提供的图像标注方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。在一些可能的实现方式中，该图像标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的图像标注方法的流程图，所述方法包括步骤S101～S106：
S101，获取待进行标注的目标图像。
示例性地，目标图像可以为用于训练进行图像识别的神经网络的样本图像，比如训练进行行人检测的神经网络，这里的目标图像可以为预先采集的大量包含行人的图像；比如训练进行肺部病灶识别的神经网络，这里的目标图像可以为预先收集的肺部图像。
S102，对目标图像进行分块，得到多个图像块。
示例性地，可以按照设定的行数和列数，对目标图像进行分块，得到尺寸相同的多个图像块，或者可以预设尺寸，对目标图像进行分块，得到多个与预设尺寸相同的图像块，每个图像块包含的像素点相同。
S103，对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息。
示例性地，可以基于预先训练的用于进行编码的神经网络来对每一个图像块进行编码处理，预测该图像块对应的编码信息，任意两个图像块对应的编码信息可以用来表示这两个图像块之间的图像特征的相似度以及距离信息，进一步根据两个图像块的编码信息可以判断这两个图像块是否属于相同的类别。
具体地，进行编码的神经网络可以构建图像块的图像特征与编码空间的映射关系，两个图像块对应的编码信息在编码空间中的距离越相近，这两个图像块的图像特征大概率越相似，或者，可以认为图像特征相似的图像块各自对应的编码信息在编码空间中的距离比较接近。
示例性地，图像块对应的图像特征可以包括该图像块的纹理特征、光谱特征、颜色特征等能够表示图像内容的特征。
S104，对编码处理后的多个图像块中的部分图像块进行类别标注，得到标注图像块。
S105，基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息。
示例性地，针对不同引用场景中的目标图像，该目标图像包含的类别信息可以预先确定，比如针对进行病灶检测的肺部图像，类别信息可以包括良性类别和病灶类别；针对待进行行人检测的目标图像，该类别信息可以包含行人类别和非行人类别；针对待进行实例标注的目标图像，该目标图像中的类别信息可以为各个实例对应的类别，比如针对道路场景的目标图像，该目标图像包含的类别信息可以包含车辆类别、行人类别和道路类别。
示例性地，针对目标图像包含的多个图像块，可以预先对多个图像块中的部分图像块进行类别标注，得到确定类别信息的标注图像块，进一步可以基于每个图像块的编码信息来确定与标注图像块属于相同类别的图像块，相同类别的图像块的类别信息相同，按照这样的方式，可以确定出目标图像包含的多个图像块中每个图像块对应的类别信息。
示例性地，以目标图像为肺部图像为例，用户可以对该肺部图像对应的多个图像块中的部分图像块进行类别标注，比如标注若干对应类别信息为病灶类别的图像块，以及标注若干对应类别信息为良性类别的图像块，得到若干表示病灶类别的标注图像块，以及若干表示良性类别的标注图像块，然后基于该肺部图像包含的每个图像块对应的编码信息，确定出每个图像块的类别信息，即得到该肺部图像中对应类别信息为病灶类别的图像块，以及对应类别信息为良性类别的图像块。
S106，基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注。
示例性地，标注方式可以预先根据目标图像的使用场景来确定的，比如针对需要标注出目标图像中目标对象的矩形框的情况，该标注方式可以为进行矩形框标注的方式；若需要标注出目标图像中目标对象的轮廓的情况，该标注方式可以为进行轮廓标注的方式；若需要标注出目标图像的类别的情况，该标注方式可以为进行分类标注的方式。
根据上述方式确定出目标图像包含的每个图像块对应的类别信息后，可以按照该目标图像对应标注方式对该目标图像进行标注，具体将在后文结合实施例进行阐述。
本公开实施例中，针对每个待标注的目标图像，可以对该目标图像进行分块处理，得到多个图像块，然后根据预先训练的用于进行编码的神经网络，确定每个图像块对应的编码信息，进一步根据每个图像块对应的编码信息，以及少量的预先标注类别的标注图像块的编码信息，可以确定多个图像块中每个图像块对应的类别信息，进一步可以基于目标图像对应的标注方式和各图像块对应的类别信息完成对目标图像的标注，该过程基于少量的标注类别的标注图像块即可以完成对整张目标图像的标注，大大节省了标注时间，提高了标注效率。示例性地，通过使用本公开实施例提供的图像标注方法能够在医疗领域中快速标注出病人器官图像中的病灶区域，有效辅助用户进行临床诊断。
下面将结合具体实施例对上述S101～S106进行阐述。
针对上述S103，在对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息时，如图2所示，可以包括以下S1031～S1032：
S1031，将各图像块输入神经网络，通过神经网络提取各图像块包含的图像特征；
S1032，通过神经网络，基于各图像块的图像特征确定各图像块对应的编码信息。
预先训练的用于进行编码的神经网络在接收到图像块后，可以提取该图像块包含的图像内容，比如可以通过图像特征来表示该图像块的图像内容，根据上文介绍的进行编码的神经网络构建了图像块的图像特征与编码空间的映射关系，因此在提取到图像块的图像特征后，能够按照预先训练的压缩方式，得到该图像特征对应的编码信息，可以得到该图像块对应的编码信息。
本公开实施例中，通过引入预先训练的用于进行编码的神经网络提前建立图像特征与编码信息之间的映射关系，从而在提取到图像块的图像特征后，可以快速确定该图像块对应的编码信息。
具体地，针对上文提到的预先训练的用于进行编码的神经网络，可以按照以下方式进行预先训练，如图3所示，包括S301～S304：
S301，获取多个样本图像，并对每个样本图像进行分块，得到多个样本图像块以及每个样本图像块的位置信息。
对多个样本图像进行分块得到多个样本图像块的过程与上文得到目标图像包含的多个图像块的方式相同，在此不进行赘述。
示例性地，每个样本图像块的位置信息可以通过该样本图像块的中心点在样本图像对应的图像坐标系中的位置坐标进行表示。
S302，基于每个样本图像块的位置信息，确定第一样本图像块对和第二样本图像块对，其中，第一样本图像块对中的两个样本图像块之间的距离小于或等于设定阈值，以及第二样本图像块对中的两个样本图像块之间的距离大于设定阈值。
考虑到在样本图像中，空间位置上接近的样本图像块之间的图像特征比较相似，且属于相同类别信息的概率较大，空间位置上相距较远的样本图像块之间的图像特征可能不相似，且属于相同类别信息的概率较小，因此可以基于样本图像块之间的距离信息来构建第一样本图像块对和第二样本图像块对，比如，可以根据距离信息，将属于同一帧样本图像且距离小于或等于设定阈值的两个图像块作为第一样本图像对，将属于同一帧样本图像且距离大于设定阈值的两个图像块，或者属于不同帧样本图像中的两个样本图像块作为第二样本图像对。
S303，分别将第一样本图像块对和第二样本图像块对输入待训练的神经网络，得到每个样本图像块对应的预测编码信息。
示例性地，将第一样本图像块对中包含的两个样本图像块输入待训练的神经网络后，可以分别获取到这两个样本图像块的图像特征，并基于这两个样本图像块分别对应的图像特征，对这两个样本图像块进行压缩编码，得到这两个样本图像块对应的预测编码信息。
S304，基于每个样本图像块对应的预测编码信息，对待训练的神经网络的网络参数进行调整，得到训练完成的用于进行编码的神经网络。
在对网络参数的调整过程中，可以通过引入无监督聚类算法来训练用于进行编码的神经网络，在训练过程中，通过调整网络参数，使得第一样本图像块对包含的两个样本图像块对应的预测编码信息之间的距离逐渐缩小，使得第二样本图像块对包含的两个样本图像块对应的预测编码信息之间的距离逐渐放大，在调整第一样本图像块或者第二样本图像块包含的两个样本图像块对应的预测编码信息时，同时对每个图像块对应的图像特征进行调整，在调整达到设定训练次数，或者损失函数对应的损失值小于设定损失值后，得到图像特征和编码空间的映射关系，该映射关系可以表示出相似图像块对应的编码信息在编码空间中的距离较近，不相似图像块对应的编码信息在编码空间中的距离较远，即得到训练完成用于进行编码的神经网络。
示例性地，编码信息可以通过向量来表示，两个图像块对应的编码信息之间的距离可以通过余弦距离公式确定。
本公开实施例中，在训练用于进行编码的神经网络的过程中，通过引入相互距离小于或等于设定阈值的第一样本图像块对以及相互距离大于设定阈值的第二样本图像块对，对该神经网络进行训练，这样基于空间上距离较近的样本图像块之间的图像特征的相似度较高的思想，可以准确得到用于基于图像块确定该图像块对应的编码信息的神经网络。
针对上述S105，可以通过引入半监督学习算法来确定每个图像块对应的类别信息，示例性地，通过给定的标注图像块的类别信息、编码信息以及编码空间分布信息，来得到目标图像包含的多个图像块中每个图像块对应的类别信息。
示例性地，基于编码空间分布信息能够反映出目标图像包含的多个图像块分别对应的编码信息在编码空间中的位置分布情况，两个图像块之间的图像特征的相似度越高，这两个图像块对应的编码信息在编码空间中对应的距离大概率越接近，或者可以将编码空间分布看作基于多个图像块对应的编码信息进行的聚类分布，这样，在目标图像包含多种类别的目标对象时，该目标图像对应的编码空间分布可以包含多个聚类簇，每个聚类簇包含的图像块属于相同类别信息的概率较大，基于此，在确定其中一个聚类簇包含的编码信息对应的类别信息后，可以确定该聚类簇包含的其它编码信息对应的类别信息，即可以得到目标图像包含的多个图像块中每个图像块对应的类别信息。
针对上述S106，在一种实施方式中，在基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注时，如图4所示，可以包括以下S1061～S1062：
S1061，在标注方式为进行矩形框标注的情况下，获取对应类别信息相同的图像块；
S1062，按照对应类别信息相同的图像块的最小外围矩形框对目标图像进行标注。
示例性地，对应类别信息相同的图像块可以包括多个，在对目标图像进行标注时，可以按照单连通域搜索的方式，对类别信息相同的图像块进行搜索，得到对应类别信息相同的图像块的最小外围矩形框，然后按照该最小外围矩形框进行标注。
示例性地，目标图像为肺部图像，按照上述方式，可以对肺部图像中的类别信息为病灶的图像块进行标注，得到肺部图像中的病灶区域。
本公开实施例中，通过识别出的目标图像包含的各图像块对应的类别信息，可以完成对目标图像中包含的类别信息相同的图像块的标注，示例性地，可以标注出目标图像中包含的各个目标对象的矩形框，该过程无需用户进行手工标注，大大节省标注时间，提高标注效率。
针对上述S106，在另一种实施方式中，基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注，如图5所示，可以包括以下S1063～S1066：
S1063，在标注方式为进行轮廓标注的情况下，基于各图像块对应的类别信息以及各图像块包含的像素点，确定目标图像中各个像素点对应的类别信息。
示例性地，在标注方式为进行轮廓标注的情况下，为了提高标注的准确度，这里需要确定出目标图像包含的各个像素点对应的类别信息。
示例性地，在图像块分割的尺寸较小时，可以将图像块的类别信息作为该图像块包含的各个像素点对应的类别信息，比如一图像块对应的类别信息为病灶类别，则该图像块包含的所有像素点对应的类别信息也为病灶类别，当图像块为目标对象边缘的图像块时，该图像块中包含的像素点的类别信息可能不同，在将图像块对应的类别信息作为该图像块包含的各个像素点对应的类别信息时，为了提高像素点的类别信息的准确度，对一些像素点的类别信息，尤其是目标对象边缘的像素点对应的类别信息需要进一步调整，详见后文描述。
S1064，获取目标图像中各个像素点的属性特征，并基于各个像素点对应的类别信息和属性特征，确定目标像素点，其中，目标像素点为待进行类别信息调整的像素点。
示例性地，在确定是否存在待进行类别信息调整的目标像素点的过程中，可以引入条件随机场模型，通过条件随机场模型来确定是否存在待进行类别信息调整的目标像素点，并对待进行类别信息调整的目标像素点的类别信息进行调整。
具体地，可以提取目标图像包含的各个像素点的属性特征，不同像素点之间的属性特征可以用于表示这些像素点之间的差异信息，比如可以包含纹理差异、梯度差异、灰度值差异等差役信息，考虑到对应类别信息不准确的像素点大概率情况下为目标图像中目标对象边缘的像素点，因此可以基于各个像素点对应的属性特征来筛选出目标图像中目标对象边缘的像素点。
另外，属性特征相同的两个像素点对应的类别信息大概率一致，若存在和目标对象边缘的某个像素点的属性特征相同，但是对应的类别信息并不一致，可以考虑该像素点为待进行类别信息调整的目标像素点。
S1065，在存在目标像素点的情况下，基于与目标像素点对应属性特征相同的像素点的类别信息，对目标像素点对应的类别信息进行调整，得到目标图像中各个像素点对应的目标类别信息。
考虑到属性特征相同的两个像素点对应的类别信息大概率一致，因此可以基于与该目标像素点的属性特征相同的其它像素点的类别信息对该目标像素点的类别信息进行调整，并在对目标像素点对应的类别信息进行调整后，得到目标图像中各个像素点对应的目标类别信息。
S1066，基于目标图像中各个像素点对应的目标类别信息，对属于同一目标类别的像素点构成的目标对象的轮廓进行标注。
示例性地，可以通过目标图像中各个像素点对应的目标类别信息，对属于相同类别信息的像素点构成的区域的轮廓进行标注，这样可以完成对目标图像中包含的目标对象的轮廓标注。
在上述步骤S1064之后，在另一种实施方式中，还包括：
在确定不存在目标像素点的情况下，基于目标图像中各个像素点对应的类别信息，对属于同一目标类别的像素点构成的目标对象的轮廓进行标注。
该情况表示针对目标对象边缘的像素点的类别信息的预测较为准确，不需要再对其进行调整，该情况对应的针对目标对象的标注过程与上文介绍的相似，在此不再进行赘述。
本公开实施例中，在确定存在类别信息不准确的目标像素点时，能够基于目标图像包含的各个像素点对应的类别信息以及属性特征，准确地确定出各个像素点对应的目标类别信息，从而得到准确度较高的分割标注结果。
具体地，针对上述S1064，在基于各个像素点对应的类别信息和属性特征，确定目标像素点时，包括以下S10641～S10643：
S10641，选择各个像素点中的至少一个作为第一像素点；基于第一像素点的属性特征，确定第一像素点和与其相邻的第二像素点的属性特征的差异值。
示例性地，第一像素点和第二像素点是指在目标图像像素坐标相邻的像素点。
具体地，该过程可以通过上文提到的条件随机场模型，确定出每个第一像素点和相邻的第二像素点的属性特征的差异值，基于本公开实施例提出的各个像素点的类别信息的确定方式，需要对作为目标对象边缘的一些像素点的类别信息进行调整，在调整过程中可以基于相邻像素点之间的属性特征的差异值是否大于预设阈值来找到目标对象边缘的像素点，这里的预设阈值可以为预先设好的，也可以为在基于条件随机场模型确定目标对象边缘的像素点时设定的。
示例性地，为了提高像素点的类别信息的准确度，这里可以确定每个像素点与至少一个相邻的像素点的属性特征的差异值是否大于预设阈值，尽可能找到较多的需要进行调整的目标像素点，当然为了提高标注效率，也可以设定与该像素点待进行属性特征比较的相邻像素点的个数，在此不进行限定。
S10642，在差异值大于预设阈值的情况下，选择至少一个第三像素点，其中，第三像素点为具有与第一像素点相同的属性特征的像素点。
示例性地，在确定第一像素点与相邻的第二像素点的属性特征的差异值大于预设阈值的情况下，可以将该第一像素点可以作为待进行类别信息调整的候选像素点，这些候选像素点大概率为目标对象边缘的像素点。
上文提到，属性特征相同的像素点对应的类别信息一致，因此，这里在确定出确定第一像素点与相邻的第二像素点的属性特征的差异值大于预设阈值的情况下，可以进一步基于判断第一像素点对应的类别信息和与该像素点的属性特征相同的第三像素点的类别信息是否相同。
S10643，在第一像素点对应的类别信息与第三像素点对应的类别信息不一致时，将第一像素点作为目标像素点。
示例性地，确定出第一像素点A对应的类别信息为病灶类别，而和该第一像素点A的属性特征相同的其它若干第三像素点的类别信息均为良性类别，则该第一像素点A的类别信息良性类别的概率较大，因此可以将该第一像素点作为待进行类别信息调整的目标像素点。
本公开实施例中，通过相邻像素点之间的属性特征以及类别信息，可以快速确定出待进行类别信息调整的目标像素点，比如如果一个像素点与相邻像素点的属性特征的差异值较大，且给该像素点和与其属性特征相同的其它像素点的类别信息也不相同，可以大概率确定出该像素点的类别信息有误，因此按照该方式可以快速确定出待进行类别信息调整的目标像素点。
针对上述S106，在另一种实施方式中，在基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注时，如图6所示，可以包括以下S1067～S1068：
S1067，在标注方式为进行分类标注的情况下，基于各图像块对应的类别信息，确定每种类别信息对应的图像块个数；
S1068，基于每种类别信息对应的图像块个数，确定目标图像的类别信息。
示例性地，在需要确定整张目标图像属于什么类别的情况下，需要分类统计目标图像包含的对应每种类别信息的图像块个数，然后可以将包含最多图像块个数的图像块的类别信息作为该目标图像的类别信息。
示例性地，为了提高确定的目标图像的类别信息的准确度，除了确定每种类别信息对应的图像块个数，还可以增加设定个数阈值条件，比如同时满足达到对应任一类别信息的图像块个数达到设定个数阈值，且该对应该任一类别信息的图像块个数最多的条件下，将该任一类别信息作为目标图像的类别信息。
本公开实施例中，通过确定目标图像包含的每种类别信息对应的图像块个数，可以快速确定该目标图像的类别信息。
在一种实施方式中，本公开实施例提供的图像标注方法还包括：
对目标图像进行标注后，响应于针对目标图像块的标注类别更新指示，对标注图像块的类别信息进行更新；
返回执行上述S105的步骤，即基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息的步骤。
示例性地，对标注图像块的类别信息进行更新可以包含以下几种情况：
(1)对已经预先标注类别的标注图像块的类别信息进行更改，比如将病灶类别改为良性类别；
(2)新增标注图像块，比如针对未标注类别的图像块进行标注类别；
(3)对已经预先标注类别的标注图像块的类别信息进行更改，以及新增标注图像块。
示例性地，针对上述第一种情况，在对目标图像进行标注后，用户可以基于标注结果进行微调，以获得更加准确地标注结果，比如可以对局部图像块的类别信息进行更改，然后返回执行上述步骤S105的步骤，从而获取各个图像块对应的更加准确的类别信息，这样可以基于更加准确的类别信息对目标图像进行标注。
示例性地，针对上述第二种情况，在目标图像中包含多个目标对象，而初始的标注类别信息仅为对其中一个目标对象包含的图像块进行了标注，则按照这样的方式得到的目标图像的标注结果中将仅针对该目标对象进行了标注，即标注结果并不完整，此时可以新增其它目标对象对应的标注图像块，然后返回执行上述步骤S105的步骤，从而获取更加完整的图像块的类别信息，这样可以得到目标图像对应的更加完整的标注结果。
示例性地，针对上述第三种情况，具体方式为上述两种方式的结果，该方式可以同时提高目标图像标注的准确度和完整性。
本公开实施例中，可以基于目标图像的标注结果对标注图像块的类别信息进行更新，从而提高目标图像标注结果的准确度和/或完整性。
本公开实施例中，在对目标图像进行标注后，可以基于标注结果重新调整图像块对应的类别信息，从而得到更加准确的标注结果。
下面以一种具体实施例对本公开提供的图像标注结果进行说明：
如图7a所示，该目标图像为一张病人的肺部图像，对该肺部图像进行分块，可以得到多个肺部图像块(图7a中未示出)，图7b为用户手工标注类别的标注图像块所对应的类别信息，比如标注图像块对应的类别信息为病灶类别，然后按照上述提到的图像标注方式，可以确定出与标注图像块属于相同类别的所有图像块，进一步基于肺部图像中各个图像块对应的类别信息，对该肺部图像进行标注，然后可以得到针对目标对象的标注结果，比如得到如图7c所示的标注结果，该标注结果为病灶区域的轮廓图。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与图像标注方法对应的图像标注装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像标注方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种图像标注装置800的示意图，该图像标注装置800包括：
图像获取模块801，用于获取待进行标注的目标图像；
图像切分模块802，用于对目标图像进行分块，得到多个图像块；
图像编码模块803，用于对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；
第一标注模块804，用于对编码处理后的多个图像块中的部分图像块进行类别标注，得到标注图像块；
类别确定模块805，用于基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息；
第二标注模块806，用于基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注。
在一种可能的实施方式中，图像编码模块803在用于对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息时，包括：
将各图像块输入神经网络，通过神经网络提取各图像块包含的图像特征；以及
通过神经网络，基于各图像块的图像特征确定各图像块对应的编码信息。
在一种可能的实施方式中，第二标注模块806在用于基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注时，包括：
在标注方式为进行矩形框标注的情况下，获取对应类别信息相同的图像块；以及
按照对应类别信息相同的图像块的最小外围矩形框对目标图像进行标注。
在一种可能的实施方式中，第二标注模块806在用于基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注时，包括：
在标注方式为进行轮廓标注的情况下，基于各图像块对应的类别信息以及各图像块包含的像素点，确定目标图像中各个像素点对应的类别信息；
获取目标图像中各个像素点的属性特征，并基于各个像素点对应的类别信息和属性特征，确定目标像素点，其中，目标像素点为待进行类别信息调整的像素点；
在存在目标像素点的情况下，基于与目标像素点对应属性特征相同的像素点的类别信息，对目标像素点对应的类别信息进行调整，得到目标图像中各个像素点对应的目标类别信息；以及
基于目标图像中各个像素点对应的目标类别信息，对属于同一目标类别的像素点构成的目标对象的轮廓进行标注。
在一种可能的实施方式中，第二标注模块806基于各个像素点对应的类别信息和属性特征，确定目标像素点，包括：
选择各个像素点中的至少一个作为第一像素点；基于第一像素点的属性特征，确定第一像素点和与其相邻的第二像素点的属性特征的差异值；
在差异值大于预设阈值的情况下，选择至少一个第三像素点，其中，第三像素点为具有与第一像素点相同的属性特征的像素点；以及
在第一像素点对应的类别信息与第三像素点对应的类别信息不一致的情况下，将第一像素点作为目标像素点。
在一种可能的实施方式中，第二标注模块806在用于基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注时，包括：
在标注方式为进行分类标注的情况下，基于各图像块对应的类别信息，确定每种类别信息对应的图像块个数；以及
基于每种类别信息对应的图像块个数，确定目标图像的类别信息。
在一种可能的实施方式中，类别确定模块805还用于：
对目标图像进行标注后，响应于针对目标图像块的标注类别更新指示，对标注图像块的类别信息进行更新；以及
返回执行基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息的步骤。
在一种可能的实施方式中，图像标注装置800还包括网络训练模块807，网络训练模块807用于按照以下方式预先训练神经网络：
获取多个样本图像，并对每个样本图像进行分块，得到多个样本图像块以及每个样本图像块的位置信息；
基于每个样本图像块的位置信息，确定第一样本图像块对和第二样本图像块对，其中，第一样本图像块对中的两个样本图像块之间的距离小于或等于设定阈值，以及第二样本图像块对中的两个样本图像块之间的距离大于设定阈值；
分别将第一样本图像块对和第二样本图像块对输入待训练的神经网络，得到每个样本图像块对应的预测编码信息；以及
基于每个样本图像块对应的预测编码信息，对待训练的神经网络的网络参数进行调整，得到训练完成的用于进行编码的神经网络。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的图像标注方法，本公开实施例还提供了一种电子设备900，如图9所示，为本公开实施例提供的电子设备900结构示意图，包括：
处理器91、存储器92、和总线93；存储器92用于存储执行指令，包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换，当电子设备900运行时，处理器91与存储器92之间通过总线93通信，使得处理器91执行以下指令：获取待进行标注的目标图像；对目标图像进行分块，得到多个图像块；对多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；对编码处理后的多个图像块中的部分图像块进行类别标注，得到标注图像块；基于各图像块对应的编码信息以及标注图像块的编码信息，确定各图像块对应的类别信息；以及，基于目标图像对应的标注方式和各图像块对应的类别信息，对目标图像进行标注。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像标注方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像标注方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种图像标注方法，其特征在于，包括：
获取待进行标注的目标图像；
对所述目标图像进行分块，得到多个图像块；
对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；
对编码处理后的所述多个图像块中的部分图像块进行类别标注，得到标注图像块；
基于所述各图像块对应的编码信息以及所述标注图像块的编码信息，确定所述各图像块对应的类别信息；以及
基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注。
2.根据权利要求1所述的图像标注方法，其特征在于，对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息，包括：
将所述各图像块输入神经网络，通过所述神经网络提取所述各图像块包含的图像特征；以及
通过所述神经网络，基于所述各图像块的图像特征确定所述各图像块对应的编码信息。
3.根据权利要求1或2所述的图像标注方法，其特征在于，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行矩形框标注的情况下，获取对应类别信息相同的图像块；以及
按照所述对应类别信息相同的图像块的最小外围矩形框对所述目标图像进行标注。
4.根据权利要求1或2所述的图像标注方法，其特征在于，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行轮廓标注的情况下，基于所述各图像块对应的类别信息以及所述各图像块包含的像素点，确定所述目标图像中各个像素点对应的类别信息；
获取所述目标图像中各个像素点的属性特征，并基于所述各个像素点对应的类别信息和属性特征，确定目标像素点，其中，所述目标像素点为待进行类别信息调整的像素点；
在存在所述目标像素点的情况下，基于与所述目标像素点对应属性特征相同的像素点的类别信息，对所述目标像素点对应的类别信息进行调整，得到所述目标图像中各个像素点对应的目标类别信息；以及
基于所述目标图像中所述各个像素点对应的目标类别信息，对属于同一目标类别的像素点构成的目标对象的轮廓进行标注。
5.根据权利要求4所述的图像标注方法，其特征在于，所述基于各个像素点对应的类别信息和属性特征，确定目标像素点，包括：
选择所述各个像素点中的至少一个作为第一像素点；
基于所述第一像素点的属性特征，确定所述第一像素点和与其相邻的第二像素点的属性特征的差异值；
在所述差异值大于预设阈值的情况下，选择至少一个第三像素点，其中，所述第三像素点为具有与所述第一像素点相同的属性特征的像素点；以及
在所述第一像素点对应的类别信息与所述第三像素点对应的类别信息不一致的情况下，将所述第一像素点作为所述目标像素点。
6.根据权利要求1或2所述的图像标注方法，其特征在于，所述基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注，包括：
在所述标注方式为进行分类标注的情况下，基于各图像块对应的类别信息，确定每种类别信息对应的图像块个数；以及
基于每种类别信息对应的图像块个数，确定所述目标图像的类别信息。
7.根据权利要求1至6任一所述的图像标注方法，其特征在于，所述图像标注方法还包括：
对所述目标图像进行标注后，响应于针对目标图像块的标注类别更新指示，对所述标注图像块的类别信息进行更新；以及
返回执行基于所述各图像块对应的编码信息以及所述标注图像块的编码信息，确定所述各图像块对应的类别信息的步骤。
8.根据权利要求2所述的图像标注方法，其特征在于，按照以下方式预先训练所述神经网络：
获取多个样本图像，并对每个样本图像进行分块，得到多个样本图像块以及每个样本图像块的位置信息；
基于每个样本图像块的位置信息，确定第一样本图像块对和第二样本图像块对，其中，所述第一样本图像块对中的两个样本图像块之间的距离小于或等于设定阈值，以及所述第二样本图像块对中的两个样本图像块之间的距离大于所述设定阈值；
分别将所述第一样本图像块对和所述第二样本图像块对输入待训练的神经网络，得到每个样本图像块对应的预测编码信息；以及
基于每个样本图像块对应的预测编码信息，对所述待训练的神经网络的网络参数进行调整，得到训练完成的用于进行编码的神经网络。
9.一种图像标注装置，其特征在于，包括：
图像获取模块，用于获取待进行标注的目标图像；
图像切分模块，用于对所述目标图像进行分块，得到多个图像块；
图像编码模块，用于对所述多个图像块中的每一个进行编码处理，得到各图像块对应的编码信息；
第一标注模块，用于对编码处理后的所述多个图像块中的部分图像块进行类别标注，得到标注图像块；
类别确定模块，用于基于各图像块对应的编码信息以及所述标注图像块的编码信息，确定各图像块对应的类别信息；以及
第二标注模块，用于基于所述目标图像对应的标注方式和所述各图像块对应的类别信息，对所述目标图像进行标注。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的图像标注方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的图像标注方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116990.5A CN112925938A (zh) | 2021-01-28 | 2021-01-28 | 一种图像标注方法、装置、电子设备及存储介质 |
| PCT/CN2021/118580 WO2022160736A1 (zh) | 2021-01-28 | 2021-09-15 | 图像标注方法、装置、电子设备、存储介质及程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116990.5A CN112925938A (zh) | 2021-01-28 | 2021-01-28 | 一种图像标注方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112925938A true CN112925938A (zh) | 2021-06-08 |
Family
ID=76168410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110116990.5A Pending CN112925938A (zh) | 2021-01-28 | 2021-01-28 | 一种图像标注方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112925938A (zh) |
| WO (1) | WO2022160736A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343999A (zh) * | 2021-06-15 | 2021-09-03 | 萱闱(北京)生物科技有限公司 | 基于目标检测的目标边界记录方法、装置和计算设备 |
| CN114092489A (zh) * | 2021-11-02 | 2022-02-25 | 清华大学 | 多孔介质渗流通道提取、模型训练方法、装置及设备 |
| WO2022160736A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备、存储介质及程序 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109117760A (zh) * | 2018-07-27 | 2019-01-01 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN109299716A (zh) * | 2018-08-07 | 2019-02-01 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、图像分割方法、装置、设备及介质 |
| CN109840914A (zh) * | 2019-02-28 | 2019-06-04 | 华南理工大学 | 一种基于用户交互式的纹理分割方法 |
| CN110211134A (zh) * | 2019-05-30 | 2019-09-06 | 上海商汤智能科技有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
| CN110264443A (zh) * | 2019-05-20 | 2019-09-20 | 平安科技（深圳）有限公司 | 基于特征可视化的眼底图像病变标注方法、装置及介质 |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| CN111368923A (zh) * | 2020-03-05 | 2020-07-03 | 上海商汤智能科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN111489366A (zh) * | 2020-04-15 | 2020-08-04 | 上海商汤临港智能科技有限公司 | 神经网络的训练、图像语义分割方法及装置 |
| CN111626313A (zh) * | 2019-02-28 | 2020-09-04 | 银河水滴科技（北京）有限公司 | 一种特征提取模型训练方法、图像处理方法及装置 |
| CN111739035A (zh) * | 2020-06-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111932547A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像中目标物的分割方法、装置、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080117225A1 (en) * | 2006-11-21 | 2008-05-22 | Rainer Wegenkittl | System and Method for Geometric Image Annotation |
| US10198782B1 (en) * | 2016-09-15 | 2019-02-05 | Digimarc Corporation | Detecting conflicts between multiple different encoded signals within imagery |
| CN109658481B (zh) * | 2018-12-24 | 2023-12-26 | 北京旷视科技有限公司 | 图像标注方法及装置、特征图生成方法及装置 |
| CN110189333B (zh) * | 2019-05-22 | 2022-03-15 | 湖北亿咖通科技有限公司 | 一种图片语义分割半自动标注方法及装置 |
| CN110222772B (zh) * | 2019-06-10 | 2021-05-04 | 浙江大学 | 一种基于块级别主动学习的医疗图像标注推荐方法 |
| CN112925938A (zh) * | 2021-01-28 | 2021-06-08 | 上海商汤智能科技有限公司 | 一种图像标注方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-28 CN CN202110116990.5A patent/CN112925938A/zh active Pending
- 2021-09-15 WO PCT/CN2021/118580 patent/WO2022160736A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109117760A (zh) * | 2018-07-27 | 2019-01-01 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN109299716A (zh) * | 2018-08-07 | 2019-02-01 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、图像分割方法、装置、设备及介质 |
| CN109840914A (zh) * | 2019-02-28 | 2019-06-04 | 华南理工大学 | 一种基于用户交互式的纹理分割方法 |
| CN111626313A (zh) * | 2019-02-28 | 2020-09-04 | 银河水滴科技（北京）有限公司 | 一种特征提取模型训练方法、图像处理方法及装置 |
| CN110264443A (zh) * | 2019-05-20 | 2019-09-20 | 平安科技（深圳）有限公司 | 基于特征可视化的眼底图像病变标注方法、装置及介质 |
| CN110211134A (zh) * | 2019-05-30 | 2019-09-06 | 上海商汤智能科技有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
| CN110533086A (zh) * | 2019-08-13 | 2019-12-03 | 天津大学 | 图像数据半自动标注方法 |
| CN111368923A (zh) * | 2020-03-05 | 2020-07-03 | 上海商汤智能科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN111489366A (zh) * | 2020-04-15 | 2020-08-04 | 上海商汤临港智能科技有限公司 | 神经网络的训练、图像语义分割方法及装置 |
| CN111739035A (zh) * | 2020-06-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111932547A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像中目标物的分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴寿昆;郭玉堂;: "基于Voronoi K阶邻近图的半监督学习自动图像标注", 计算机应用与软件, no. 12, 15 December 2016 (2016-12-15), pages 183 - 242 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160736A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备、存储介质及程序 |
| CN113343999A (zh) * | 2021-06-15 | 2021-09-03 | 萱闱(北京)生物科技有限公司 | 基于目标检测的目标边界记录方法、装置和计算设备 |
| CN114092489A (zh) * | 2021-11-02 | 2022-02-25 | 清华大学 | 多孔介质渗流通道提取、模型训练方法、装置及设备 |
| CN114092489B (zh) * | 2021-11-02 | 2023-08-29 | 清华大学 | 多孔介质渗流通道提取、模型训练方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022160736A1 (zh) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476284B (zh) | 图像识别模型训练及图像识别方法、装置、电子设备 | |
| CN112925938A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
| Du et al. | Online deformable object tracking based on structure-aware hyper-graph | |
| CN111898642B (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN103168314B (zh) | 用于基于面部动作单元识别个体的情绪的方法和设备 | |
| Kim et al. | Color–texture segmentation using unsupervised graph cuts | |
| CN111046886A (zh) | 号码牌自动识别方法、装置、设备及计算机可读存储介质 | |
| Bicego et al. | A bioinformatics approach to 2D shape classification | |
| Lee et al. | Integrating multiple character proposals for robust scene text extraction | |
| CN111783882A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN112035620A (zh) | 医疗查询系统的问答管理方法、装置、设备及存储介质 | |
| Kastaniotis et al. | HEp-2 cell classification with vector of hierarchically aggregated residuals | |
| CN110633634A (zh) | 一种关于中医体质的脸型分类方法、系统和计算机可读存储介质 | |
| CN110929640A (zh) | 一种基于目标检测的宽幅遥感描述生成方法 | |
| CN113764034A (zh) | 基因组序列中潜在bgc的预测方法、装置、设备及介质 | |
| CN112465231A (zh) | 地区人口健康状态预测方法、设备和可读存储介质 | |
| Zhang et al. | Appearance-based loop closure detection via locality-driven accurate motion field learning | |
| Mata-Montero et al. | A texture and curvature bimodal leaf recognition model for identification of costa rican plant species | |
| Khelifi et al. | A multi-objective decision making approach for solving the image segmentation fusion problem | |
| CN108694411B (zh) | 一种识别相似图像的方法 | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN115984588A (zh) | 图像背景相似度分析方法、装置、电子设备及存储介质 | |
| CN114783042A (zh) | 基于多移动目标的人脸识别方法、装置、设备及存储介质 | |
| CN111459050B (zh) | 一种基于双网互联的智慧仿真型护理教学系统及教学方法 | |
| CN108475339B (zh) | 用于对图像中的对象分类的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40045098 Country of ref document: HK |