CN110610169A - 图片标注方法和装置、存储介质及电子装置 - Google Patents
图片标注方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN110610169A CN110610169A CN201910894400.4A CN201910894400A CN110610169A CN 110610169 A CN110610169 A CN 110610169A CN 201910894400 A CN201910894400 A CN 201910894400A CN 110610169 A CN110610169 A CN 110610169A
- Authority
- CN
- China
- Prior art keywords
- target
- picture
- recognition model
- type
- labeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims description 97
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 27
- 238000012937 correction Methods 0.000 description 14
- 238000004140 cleaning Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图片标注方法和装置、存储介质及电子装置。其中,该方法包括:获取待标注的原始图片,其中,所述原始图片中包括至少一个待识别的对象,将所述原始图片输入到目标识别模型中,以通过所述目标识别模型对从所述原始图片中识别出的对象进行标注,获取所述目标识别模型输出的标注结果,其中,所述标注结果中携带有对所述原始图片中包括的对象标注后的标签。本发明解决了相关技术中对图片中的对象进行标注的准确度低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种图片标注方法和装置、存储介质及电子装置。
背景技术
现有技术中,在对图片中的对象进行位置与类型的标注过程中,主要靠全人工从头标注图片中的检测框与物体类别,无差别对待所有样本。
若是采用上述方法,则在样本中对象较多的情况下,对象的类型也较多,此时人工的识别无法完成准确的标注。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图片标注方法和装置、存储介质及电子装置,以至少解决相关技术中对图片中的对象进行标注的准确度低的技术问题。
根据本发明实施例的一个方面,提供了一种图片标注方法,包括:获取待标注的原始图片,其中,上述原始图片中包括至少一个待识别的对象;将上述原始图片输入到目标识别模型中,以通过上述目标识别模型对从上述原始图片中识别出的对象进行标注,其中,上述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,上述样本图片集包括初始样本图片和标注样本图片,上述标注样本图片为在上述初始样本图片对应的训练结果中确定出目标图片后,对上述目标图片中的对象进行纠正后得到的标注图片;获取上述目标识别模型输出的标注结果,其中,上述标注结果中携带有对上述原始图片中包括的对象标注后的标签。
根据本发明实施例的另一方面,还提供了一种图片标注装置,包括:第一获取单元,用于获取待标注的原始图片,其中,上述原始图片中包括至少一个待识别的对象;输入单元,用于将上述原始图片输入到目标识别模型中,以通过上述目标识别模型对从上述原始图片中识别出的对象进行标注,其中,上述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,上述样本图片集包括初始样本图片和标注样本图片,上述标注样本图片为在上述初始样本图片对应的训练结果中确定出目标图片后,对上述目标图片中的对象进行纠正后得到的标注图片;第二获取单元,用于获取上述目标识别模型输出的标注结果,其中,上述标注结果中携带有对上述原始图片中包括的对象标注后的标签。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述图片标注方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的图片标注方法。
在本发明实施例中,采用了获取待标注的原始图片,其中,上述原始图片中包括至少一个待识别的对象,将上述原始图片输入到目标识别模型中,以通过上述目标识别模型对从上述原始图片中识别出的对象进行标注,获取上述目标识别模型输出的标注结果的方法,在上述方法中,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性,进而解决了相关技术中对图片中的对象进行标注的准确度低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图片标注方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的图片标注方法的流程示意图;
图3是根据本发明实施例的一种可选的图片标注方法的示意图;
图4是根据本发明实施例的另一种可选的图片标注方法的示意图;
图5是根据本发明实施例的又一种可选的图片标注方法的示意图;
图6是根据本发明实施例的又一种可选的图片标注方法的示意图;
图7是根据本发明实施例的又一种可选的图片标注方法的示意图;
图8是根据本发明实施例的又一种可选的图片标注方法的示意图;
图9是根据本发明实施例的一种可选的图片标注装置的结构示意图;
图10是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种图片标注方法,可选地,作为一种可选的实施方式,上述图片标注方法可以但不限于应用于如图1所示的环境中。
图1中用户102与用户设备104之间可以进行人机交互。用户设备104中包含有存储器106,用于存储交互数据、处理器108,用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114,用于存储交互数据、处理引擎116,用于处理交互数据。用户设备可以将待标注的原始图片发送给服务器112,服务器112可以接收待标注的原始图片,并将待标注的原始图片输入到目标识别模型中。目标识别模型对待标注的原始图片进行标注,输出标注结果,标注结果中包括待标注的原始图片中每一个对象的位置与类型。服务器112可以将标注结果返回给用户设备104,使用户设备104进行显示。
或者,本方案还可以应用在客户端中,如图2的用户设备202中或者用户设备202上运行的软件中。用户设备202中包含有存储器204,用于存储目标识别模型与交互数据、目标识别模型206,用于识别待标注的原始图片并标注。用户设备202可以与用户208进行交互,可以获取待标注的原始图片,并将待标注的原始图片输入到目标识别模型中,并由目标识别模型输出标注结果。
通过本实施例,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性。
可选地,上述用户设备104或用户设备202可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端,上述网络110可以包括但不限于无线网络或有线网络。其中,该无线网络包括:WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
可选地,作为一种可选的实施方式,如图3所示,上述图片标注方法包括:
S302,获取待标注的原始图片,其中,所述原始图片中包括至少一个待识别的对象;
S304,将所述原始图片输入到目标识别模型中,以通过所述目标识别模型对从所述原始图片中识别出的对象进行标注,其中,所述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,所述样本图片集包括初始样本图片和标注样本图片,所述标注样本图片为在所述初始样本图片对应的训练结果中确定出目标图片后,对所述目标图片中的对象进行纠正后得到的标注图片;
S306,获取所述目标识别模型输出的标注结果,其中,所述标注结果中携带有对所述原始图片中包括的对象标注后的标签。
可选地,上述图片标注方法可以但不限于应用于对象识别物品整理领域、物品识别领域等。例如,应用在物品整理的过程中。待标注的原始图片中的多个对象可以为不同类型的物品。由于需要对物品进行整理,因此,可以由计算机识别图片中物品的类型,以自动进行分类整理。获取待标注的原始图片,然后将待标注的原始图片输入到目标识别模型中,由目标识别模型输出标注结果,标注结果中标注有待标注的原始图片中各个物品的位置与类型,从而对物品进行分类整理。
通过本实施例,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性。
可选地,本方案中在将待标注的原始图片输入到目标识别模型中之前,需要对模型进行训练,以得到目标识别模型。目标识别模型的识别准确度大于第一阈值。
可选地,本方案中可以首先获取原始识别模型,原始识别模型为一个识别准确度不高的模型。然后获取第一图片,第一图片中每一个对象的位置与类型均被准确标注。第一图片中的对象可以使用人为标注的方法进行标注,或者从已有的库中获取标注好的第一图片。第一图片的数量可能较少。在获取第一图片之后,将第一图片输入到原始识别模型中,对原始识别模型进行训练,得到当前目标识别模型,以初步提高识别准确度。得到当前目标识别模型之后,可以获取初始样本图片,初始样本图片中包括多张样本图片,初始样本图片中每一张样本图片中的对象的位置与类型均未被标注。将初始样本图片输入到当前目标识别模型中,由当前目标识别模型对初始样本图片中的样本图片进行标注,得到当前训练结果。当前训练结果中每一张图片中的对象的位置与类型均被当前目标识别模型标注。而由于当前目标识别模型是识别准确度不高的模型,因此标注结果可能不正确。此时,从标注样本图片集中确定出目标图片,然后对目标图片进行纠正,并使用纠正后的图片重新训练当前目标识别模型。
可选地,上述训练过程可以是重复多次的。例如,重新训练当前目标识别模型后,得到新的当前目标识别模型,并将纠正后的目标图片输入新的当前目标识别模型,得到新的当前训练结果,并从新的当前训练结果中确定新的目标图片进行纠正,并使用纠正后的新的目标图片训练上述新的当前目标识别模型,直到某次确定出的目标图片的数量小于一个阈值,则认为模型的识别准确度足够高,此时,将当前的模型确定为目标识别模型。需要说明的是,训练过程中是对当前目标识别模型中的参数进行调整。
可选地,本方案中的纠正可以但不限于为获取目标图片中对象的准确位置与准确类型,并将获取的准确位置替换当前目标识别模型输出的该对象的位置,并将获取的准确类型替换当前目标识别模型输出的该对象的类型。
可选地,本方案中在确定目标图片时,可以采用多种方法。例如,获取当前目标识别模型输出的当前训练结果中的每一个对象的所有位置与对应概率,将概率中最大概率对应的位置确定为每一个对象的目标位置。获取当前目标识别模型输出的当前训练结果中的每一个对象的所有类型与对应概率,将概率中最大概率对应的类型确定为每一个对象的目标类型。若是一个对象的目标位置的概率属于第一范围且目标类型的概率属于第二范围,则将该对象确定为目标对象,将包含目标对象数量最多的当前训练结果中的图片确定为目标图片,并纠正目标图片中的对象的位置与类型。
可选地,本方案中在得到目标图片后,可以按照对目标图片的纠正结果中每一个图片的每一个对象的标注的位置进行裁剪,得到多个对象,并按照每一个对象的类型进行分类存储。从而得到多个类型的文件夹,每一个类型中包括有当前目标识别模型标注的该类型的多个对象。
可选地,在得到多个类型的文件夹后,对每一个文件夹中的对象进行清洗。清洗时,可以将文件夹中与其他对象不为一个类型的对象进行清洗。清洗为修正该对象的类型,将该对象的类型修改为与其他对象的类型相同。
在纠正目标图片时,可以根据上述分类存储的结果纠正目标图片,从而提高效率。
可选地,本方案中的目标识别模型可以分为第一识别模型与第二识别模型,所述第一识别模型用于标注所述待标注的原始图片中每一个对象的位置,所述第二识别模型用于标注所述每一个对象的类型。也就是说,在训练得到目标识别模型后,可以由目标识别模型中的第一识别模型识别待标注的原始图片中的对象的位置,由第二识别模型识别待标注的原始图片中每一个对象的类型。
本方案中的第一识别模型与第二识别模型可以单独使用。如训练后的第一识别模型可以用于其他场景中,识别图片中对象的位置的情况下。训练后的第二识别模型可以用于其他场景中识别图片中被标注位置的对象的类型的场景下。在此本实施例不做具体限定。
可选地,本方案中的上述图片标注方法可以应用到对一张图片中的不同对象进行识别与标注的过程中。例如,对于超市中的物品,人为确认与清点会消耗较多的人力,而使用本方案,仅需要拍摄到货架上物品的图片,然后可以对图片进行识别,标注出图片中每一种货物的位置与类型。或者对于一张公园内场景的图片,本方案可以识别出图片中的每一个对象如植被、桌椅、路人等不同类型的对象并进行标注,以对公园植被进行维护,或者拍摄到马路的图片,对马路上的各种对象进行识别与标注,以监察路况等。
以下结合一个具体示例对上述过程进行说明。例如,将上述方法应用到对超市中的物品进行识别与标注的过程中。获取待标注的原始图片,待标注的原始图片可以为员工拍摄的图片或者摄像头采集的图片,或者从网络上下载的图片或接收到的上传,转发的图片。待标注的原始图片中包括多类物品(或者也可以包括顾客或推车等其他任意对象)。如图4所示,图4为一种可选的待标注的原始图片。待标注的原始图片中包括有玩具枪、赛车等玩具。将待标注的原始图片输入到目标识别模型中,由目标识别模型输出标注结果。例如如图5所示,标注结果中标注有所有物品的位置与类型。即标注出图4中的玩具枪与赛车。从而可以实现自动统计超市中的货物。需要说明的是,本方案中同样可以标注出图4中的货架的位置与类型(图5中未示出)。且图5中用虚线标注出对象的位置仅为一种示例,本方案可以使用多种方式如颜色的亮暗对比,各种形状的标注框等将玩具枪、赛车等对象标注出来。在图片中显示标注类型也为一种示例,还可以以输出文档的形式获取对象的位置与类型,文档中记录有每一个对象的位置与类型。本方案中目标识别模型为经过预先训练的模型。在训练过程中,首先需要获取到用于训练的初始样本图片。初始样本图片中的对象的位置与类型未被标注。使用初始样本图片重复训练一个模型,得到目标识别模型。过程可以如图6步骤S602到步骤S18所示。首先获取样本图片集,然后确定初始样本图片,接着训练模型,并得到当前训练结果,再从当前训练结果中确定目标图片,接着纠正目标图片,然后对目标图片中对象进行裁剪,获取存储有不同对象类型的文件夹,接着对文件夹中对象执行二次纠正,得到新的标注数据,使用新的标注数据与样本图片集确定出新的初始样本图片,并继续训练模型,直到某次模型输出的当前训练结果中目标图片的数量小于第一阈值,则跳出,得到目标识别模型。
训练过程具体为,初始化阶段:获得全量需要标注的数据,确定标注类别;抽取具代表性图片少量作为标注图片库D,如100张,人工进行图片标注。
模型训练阶段:此阶段采用深度卷积神经网络,端到端地训练模型学习每张图中的物体位置和类别。基于已有的标注图片,使用开源深度学习物体检测框架yolov3训练检测模型,该深度学习网络层如图7示意,训练过程中输入原始图片,经过一系列的卷积、残差连接、池化等操作,最后输出每张图中多个预测框及对应的类别预测概率,输出的结果与真值求误差后,反向传播更新模型各层参数。如此训练迭代收敛后,模型的各层响应即为检测目标相关的特征。与一般单物体或少量物体检测不同,此处每张图片一般具有80~200个目标物体。
目标图片筛选阶段:此阶段根据模型预测结果,对每张图判断是否为目标图片。目标图片需要根据实际确定,此处根据密集物体识别任务,目标图片为包含困难识别物体的图片。此阶段为整体标注任务的关键,通过此阶段有差别对待每张图片,选取模型最需要关注的图片进行标注,以保证标注结果能提升模型的辨别能力。早期由于标注量有限,模型检测通常效果很差,但通过多次迭代可以提升模型效果。针对密集物体识别,设计目标图片获取方法为:
1、获得单张目标图片所有预测结果,表现为多个矩形预测框的像素位置以及每个矩形框为某个物体的概率。
2、计算单张图片中位置概率在第一范围内且对象为某物体的概率在第二范围内的对象数量,记录该图片名与目标对象数量。
3、重复1、2步直到获取到所有图片的目标对象数量。
4、根据目标对象数量逆序排序,取第一张图片或者前N张图片作为目标图片。N为自然数。
5、根据生成的结果,对目标图片生成预标注文档。
人工修正阶段:根据已有模型,对目标图片及预标注文档,进行人工修正。在标注工具上,修改预测框类别及预测框位置。
在人工修正阶段后,还包括一个二次标注过程。二次标注过程包括:
1、针对目标图片中某张图片I,读取标注文件中的标注结果A,对A中的某个标注结果Ai,获取Ai的矩形框位置,及标注类别名,采取图像切割的方法把矩形框切出来保存成以原图名+标注序号为图片名的细节图,细节图保存在以类别名命名的文件夹中,即以“类别-细节图”为结构的文件夹。对A中所有的标注结果重复上述动作。
2、对目标图片中的所有图片重复上述动作。获得多个以标注类别命名的含对应类别细节图的文件夹。
人工清洗每个类别文件夹,由于同一个文件夹里的细节图都在前阶段标注为统一类别标签,故可以比较容易清洗掉误标注图片。将误标注图片中对象的类型进行修改。例如如图8所示,图8中右侧为待标注图片的内容展示区,中间为算法通过识别给出的标注,下方为所有图片文件名列表区。标注人员实际使用时,预先载入待标注图片以及对应的算法自动标注结果文件,然后逐张图片浏览,并修正算法自动标注结果。
对细节图清洗出现的类别修正结果更新到标注文件中。
把修正后的目标图片并入到标注图片库中,得到当前标注图片库。
重复上述模型训练阶段、目标图片筛选阶段、人工修正阶段、二次标注过程与人工清洗每个类别文件夹的过程,直到某次确定目标图片时,目标图片的数量少于一个预定阈值。则此时,模型训练完毕。
通过本实施例,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性。
作为一种可选的实施方案,在所述获取待标注的原始图片之前,还包括:
S1,重复执行以下步骤,直至得到所述目标识别模型:
将所述初始样本图片输入待训练的当前目标识别模型,其中,所述当前目标识别模型中的模型参数尚未确定;
获取所述当前目标识别模型的当前训练结果,其中,所述当前训练结果中携带有对所述初始样本图片中识别出的对象进行标注的结果;
根据所述当前训练结果获取所述目标图片;
在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片,并将所述纠正后的标注图片作为所述标注样本图片,输入所述当前目标识别模型进行训练;
在所述目标图片的数量小于所述第一阈值的情况下,将所述当前目标识别模型确定为所述目标识别模型。
通过本实施例,通过上述方法重复训练当前目标识别模型,从而可以得到准确的最终的目标识别模型,提高了目标识别模型的识别准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,所述根据所述当前训练结果获取所述目标图片包括:
S1,获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率;
S2,将所述目标位置的概率属于第一范围且所述目标类型的概率属于第二范围的对象确定为目标对象;
S3,将包含所述目标对象数量最多的图片确定为所述目标图片。
通过本实施例,通过上述方法确定目标图片,从而可以提高目标图片的确定准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,所述获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率包括:
S1,将所述当前训练结果中,每一个对象的每一个位置中,概率最大的位置确定为所述每一个对象的所述目标位置,将所述当前训练结果中所述每一个对象的每一个类型中,概率最大的类型确定为所述每一个对象的所述目标类型。
通过本实施例,通过上述方法每一个对象的对象的目标位置与目标类型,从而可以提高对象的目标位置与目标类型的确定准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,所述在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片包括:
S1,获取输入的所述目标图片中对象的对象类型和/或对象位置;
S2,按照所述对象位置将所述对象从所述目标图片中裁出,并按照所述对象类型将所述对象存储到不同的文件夹中;
S3,接收纠正所述文件夹中的目标对象的对象类型和/或对象位置的新的对象类型和/或对象位置,使用新的对象类型和/或对象位置替换所述目标对象的对象类型和/或对象位置。
通过本实施例,通过上述方法对目标对象的对象类型与对象位置进行纠正,从而可以获取到准确的目标图片中对象的位置与类型,进而提高目标识别模型的准确度。
作为一种可选的实施方案,所述目标识别模型包括第一识别模型与第二识别模型,所述第一识别模型用于标注所述原始图片中对象的位置,所述第二识别模型用于标注所述原始图片中对象的类型。
通过本实施例,通过上述方法,从而可以得到两个不同作用的模型,第一识别模型用于识别对象的位置,第二识别模型用于识别对象的类型,提高了对图片进行标注的准确性。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述图片标注方法的图片标注装置。如图9所示,该装置包括:
(1)第一获取单元902,用于获取待标注的原始图片,其中,所述原始图片中包括至少一个待识别的对象;
(2)输入单元904,用于将所述原始图片输入到目标识别模型中,以通过所述目标识别模型对从所述原始图片中识别出的对象进行标注,其中,所述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,所述样本图片集包括初始样本图片和标注样本图片,所述标注样本图片为在所述初始样本图片对应的训练结果中确定出目标图片后,对所述目标图片中的对象进行纠正后得到的标注图片;
(3)第二获取单元906,用于获取所述目标识别模型输出的标注结果,其中,所述标注结果中携带有对所述原始图片中包括的对象标注后的标签。
可选地,上述图片标注方法可以但不限于应用于对象识别物品整理领域、物品识别领域等。例如,应用在物品整理的过程中。待标注的原始图片中的多个对象可以为不同类型的物品。由于需要对物品进行整理,因此,可以由计算机识别图片中物品的类型,以自动进行分类整理。获取待标注的原始图片,然后将待标注的原始图片输入到目标识别模型中,由目标识别模型输出标注结果,标注结果中标注有待标注的原始图片中各个物品的位置与类型,从而对物品进行分类整理。
通过本实施例,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性。
可选地,本方案中在将待标注的原始图片输入到目标识别模型中之前,需要对模型进行训练,以得到目标识别模型。目标识别模型的识别准确度大于第一阈值。
可选地,本方案中可以首先获取原始识别模型,原始识别模型为一个识别准确度不高的模型。然后获取第一图片,第一图片中每一个对象的位置与类型均被准确标注。第一图片中的对象可以使用人为标注的方法进行标注,或者从已有的库中获取标注好的第一图片。第一图片的数量可能较少。在获取第一图片之后,将第一图片输入到原始识别模型中,对原始识别模型进行训练,得到当前目标识别模型,以初步提高识别准确度。得到当前目标识别模型之后,可以获取初始样本图片,初始样本图片中包括多张样本图片,初始样本图片中每一张样本图片中的对象的位置与类型均未被标注。将初始样本图片输入到当前目标识别模型中,由当前目标识别模型对初始样本图片中的样本图片进行标注,得到当前训练结果。当前训练结果中每一张图片中的对象的位置与类型均被当前目标识别模型标注。而由于当前目标识别模型是识别准确度不高的模型,因此标注结果可能不正确。此时,从标注样本图片集中确定出目标图片,然后对目标图片进行纠正,并使用纠正后的图片重新训练当前目标识别模型。
可选地,上述训练过程可以是重复多次的。例如,重新训练当前目标识别模型后,得到新的当前目标识别模型,并将纠正后的目标图片输入新的当前目标识别模型,得到新的当前训练结果,并从新的当前训练结果中确定新的目标图片进行纠正,并使用纠正后的新的目标图片训练上述新的当前目标识别模型,直到某次确定出的目标图片的数量小于一个阈值,则认为模型的识别准确度足够高,此时,将当前的模型确定为目标识别模型。
可选地,本方案中的纠正可以但不限于为获取目标图片中对象的准确位置与准确类型,并将获取的准确位置替换当前目标识别模型输出的该对象的位置,并将获取的准确类型替换当前目标识别模型输出的该对象的类型。
可选地,本方案中在确定目标图片时,可以采用多种方法。例如,获取当前目标识别模型输出的当前训练结果中的每一个对象的所有位置与对应概率,将概率中最大概率对应的位置确定为每一个对象的目标位置。获取当前目标识别模型输出的当前训练结果中的每一个对象的所有类型与对应概率,将概率中最大概率对应的类型确定为每一个对象的目标类型。若是一个对象的目标位置的概率属于第一范围且目标类型的概率属于第二范围,则将该对象确定为目标对象,将包含目标对象数量最多的当前训练结果中的图片确定为目标图片,并纠正目标图片中的对象的位置与类型。
可选地,本方案中在得到目标图片后,可以按照对目标图片的纠正结果中每一个图片的每一个对象的标注的位置进行裁剪,得到多个对象,并按照每一个对象的类型进行分类存储。从而得到多个类型的文件夹,每一个类型中包括有当前目标识别模型标注的该类型的多个对象。
可选地,在得到多个类型的文件夹后,对每一个文件夹中的对象进行清洗。清洗时,可以将文件夹中与其他对象不为一个类型的对象进行清洗。清洗为修正该对象的类型,将该对象的类型修改为与其他对象的类型相同。
在纠正目标图片时,可以根据上述分类存储的结果纠正目标图片,从而提高效率。
可选地,本方案中的目标识别模型可以分为第一识别模型与第二识别模型,所述第一识别模型用于标注所述待标注的原始图片中每一个对象的位置,所述第二识别模型用于标注所述每一个对象的类型。也就是说,在训练得到目标识别模型后,可以由目标识别模型中的第一识别模型识别待标注的原始图片中的对象的位置,由第二识别模型识别待标注的原始图片中每一个对象的类型。
本方案中的第一识别模型与第二识别模型可以单独使用。如训练后的第一识别模型可以用于其他场景中,识别图片中对象的位置的情况下。训练后的第二识别模型可以用于其他场景中识别图片中被标注位置的对象的类型的场景下。在此本实施例不做具体限定。
以下结合一个具体示例对上述过程进行说明。例如,将上述方法应用到对超市物品进行识别与标注的过程中。获取待标注的原始图片,待标注的原始图片可以为拍摄的超时的图片,图片中包括多类物品。如图4所示,图4为待标注的原始图片。将待标注的原始图片输入到目标识别模型中,由目标识别模型输出标注结果。例如如图5所示,标注结果中标注有所有物品的位置与类型。本方案中目标识别模型为经过预先训练的模型。在训练过程中,首先需要获取到用于训练的初始样本图片。初始样本图片中的对象的位置与类型未被标注。使用初始样本图片重复训练一个模型,得到目标识别模型。过程可以如图6步骤S602到步骤S18所示。首先获取样本图片集,然后确定初始样本图片,接着训练模型,并得到当前训练结果,再从当前训练结果中确定目标图片,接着纠正目标图片,然后对目标图片中对象进行裁剪,获取存储有不同对象类型的文件夹,接着对文件夹中对象执行二次纠正,得到新的标注数据,使用新的标注数据与样本图片集确定出新的初始样本图片,并继续训练模型,直到某次模型输出的当前训练结果中目标图片的数量小于第一阈值,则跳出,得到目标识别模型。
训练过程具体为,初始化阶段:获得全量需要标注的数据,确定标注类别;抽取具代表性图片少量作为标注图片库D,如100张,人工进行图片标注。
模型训练阶段:此阶段采用深度卷积神经网络,端到端地训练模型学习每张图中的物体位置和类别。基于已有的标注图片,使用开源深度学习物体检测框架yolov3训练检测模型,该深度学习网络层如图7示意,训练过程中输入原始图片,经过一系列的卷积、残差连接、池化等操作,最后输出每张图中多个预测框及对应的类别预测概率,输出的结果与真值求误差后,反向传播更新模型各层参数。如此训练迭代收敛后,模型的各层响应即为检测目标相关的特征。与一般单物体或少量物体检测不同,此处每张图片一般具有80~200个目标物体。
目标图片筛选阶段:此阶段根据模型预测结果,对每张图判断是否为目标图片。目标图片需要根据实际确定,此处根据密集物体识别任务,目标图片为包含困难识别物体的图片。此阶段为整体标注任务的关键,通过此阶段有差别对待每张图片,选取模型最需要关注的图片进行标注,以保证标注结果能提升模型的辨别能力。早期由于标注量有限,模型检测通常效果很差,但通过多次迭代可以提升模型效果。针对密集物体识别,设计目标图片获取方法为:
1、获得单张目标图片所有预测结果,表现为多个矩形预测框的像素位置以及每个矩形框为某个物体的概率。
2、计算单张图片中位置概率在第一范围内且对象为某物体的概率在第二范围内的对象数量,记录该图片名与目标对象数量。
3、重复1、2步直到获取到所有图片的目标对象数量。
4、根据目标对象数量逆序排序,取第一张图片或者前N张图片作为目标图片。N为自然数。
5、根据生成的结果,对目标图片生成预标注文档。
人工修正阶段:根据已有模型,对目标图片及预标注文档,进行人工修正。在标注工具上,修改预测框类别及预测框位置。
在人工修正阶段后,还包括一个二次标注过程。二次标注过程包括:
1、针对目标图片中某张图片I,读取标注文件中的标注结果A,对A中的某个标注结果Ai,获取Ai的矩形框位置,及标注类别名,采取图像切割的方法把矩形框切出来保存成以原图名+标注序号为图片名的细节图,细节图保存在以类别名命名的文件夹中,即以“类别-细节图”为结构的文件夹。对A中所有的标注结果重复上述动作。
2、对目标图片中的所有图片重复上述动作。获得多个以标注类别命名的含对应类别细节图的文件夹。
人工清洗每个类别文件夹,由于同一个文件夹里的细节图都在前阶段标注为统一类别标签,故可以比较容易清洗掉误标注图片。将误标注图片中对象的类型进行修改。例如如图8所示,图8中右侧为待标注图片的内容展示区,中间为算法通过识别给出的标注,下方为所有图片文件名列表区。标注人员实际使用时,预先载入待标注图片以及对应的算法自动标注结果文件,然后逐张图片浏览,并修正算法自动标注结果。
对细节图清洗出现的类别修正结果更新到标注文件中。
把修正后的目标图片并入到标注图片库中,得到当前标注图片库。
重复上述模型训练阶段、目标图片筛选阶段、人工修正阶段、二次标注过程与人工清洗每个类别文件夹的过程,直到某次确定目标图片时,目标图片的数量少于一个预定阈值。则此时,模型训练完毕。
通过本实施例,由于目标识别模型是使用样本图片集进行训练的模型,而样本图片集中包括初始样本图片和标注样本图片,标注样本图片为从初始样本图片中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片。从而采用上述方法训练的目标识别模型的准确度要高。因此,采用本方案识别待标注的原始图片得到的标注结果为准确的结果,提高了对待标注的原始图片进行标注的准确性。
作为一种可选的实施方案,上述装置还包括:
(1)处理单元,用于在所述获取待标注的原始图片之前,重复执行以下步骤,直至得到所述目标识别模型:
将所述初始样本图片输入待训练的当前目标识别模型,其中,所述当前目标识别模型中的模型参数尚未确定;
获取所述当前目标识别模型的当前训练结果,其中,所述当前训练结果中携带有对所述初始样本图片中识别出的对象进行标注的结果;
根据所述当前训练结果获取所述目标图片;
在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片,并将所述纠正后的标注图片作为所述标注样本图片,输入所述当前目标识别模型进行训练;
在所述目标图片的数量小于所述第一阈值的情况下,将所述当前目标识别模型确定为所述目标识别模型。
通过本实施例,通过上述方法重复训练当前目标识别模型,从而可以得到准确的最终的目标识别模型,提高了目标识别模型的识别准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,上述处理单元还用于:
获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率;
将所述目标位置的概率属于第一范围且所述目标类型的概率属于第二范围的对象确定为目标对象;
将包含所述目标对象数量最多的图片确定为所述目标图片。
通过本实施例,通过上述方法确定目标图片,从而可以提高目标图片的确定准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,上述处理单元还用于:
将所述当前训练结果中,每一个对象的每一个位置中,概率最大的位置确定为所述每一个对象的所述目标位置,将所述当前训练结果中所述每一个对象的每一个类型中,概率最大的类型确定为所述每一个对象的所述目标类型。
通过本实施例,通过上述方法每一个对象的对象的目标位置与目标类型,从而可以提高对象的目标位置与目标类型的确定准确度,进一步提高了对图片进行标注的准确度。
作为一种可选的实施方案,所述处理单元还用于:
获取输入的所述目标图片中对象的对象类型和/或对象位置;
按照所述对象位置将所述对象从所述目标图片中裁出,并按照所述对象类型将所述对象存储到不同的文件夹中;
接收纠正所述文件夹中的目标对象的对象类型和/或对象位置的新的对象类型和/或对象位置,使用新的对象类型和/或对象位置替换所述目标对象的对象类型和/或对象位置。
通过本实施例,通过上述方法对目标对象的对象类型与对象位置进行纠正,从而可以获取到准确的目标图片中对象的位置与类型,进而提高目标识别模型的准确度。
作为一种可选的实施方案,所述目标识别模型包括第一识别模型与第二识别模型,所述第一识别模型用于标注所述原始图片中对象的位置,所述第二识别模型用于标注所述原始图片中对象的类型。
通过本实施例,通过上述方法,从而可以得到两个不同作用的模型,第一识别模型用于识别对象的位置,第二识别模型用于识别对象的类型,提高了对图片进行标注的准确性。
根据本发明实施例的又一个方面,还提供了一种用于实施上述图片标注方法的电子装置,如图10所示,该电子装置包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待标注的原始图片,其中,原始图片中包括至少一个待识别的对象;
S2,将原始图片输入到目标识别模型中,以通过目标识别模型对从原始图片中识别出的对象进行标注,其中,目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,样本图片集包括初始样本图片和标注样本图片,标注样本图片为在初始样本图片对应的训练结果中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片;
S3,获取目标识别模型输出的标注结果,其中,标注结果中携带有对原始图片中包括的对象标注后的标签。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的图片标注方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图片标注方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储目标识别模型与待标注的原始图片等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述图片标注装置中的第一获取单元902、输入单元904与第二获取单元906。此外,还可以包括但不限于上述图片标注装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1008,用于显示标注结果;和连接总线1010,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待标注的原始图片,其中,原始图片中包括至少一个待识别的对象;
S2,将原始图片输入到目标识别模型中,以通过目标识别模型对从原始图片中识别出的对象进行标注,其中,目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,样本图片集包括初始样本图片和标注样本图片,标注样本图片为在初始样本图片对应的训练结果中确定出目标图片后,对目标图片中的对象进行纠正后得到的标注图片;
S3,获取目标识别模型输出的标注结果,其中,标注结果中携带有对原始图片中包括的对象标注后的标签。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种图片标注方法,其特征在于,包括:
获取待标注的原始图片,其中,所述原始图片中包括至少一个待识别的对象;
将所述原始图片输入到目标识别模型中,以通过所述目标识别模型对从所述原始图片中识别出的对象进行标注,其中,所述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,所述样本图片集包括初始样本图片和标注样本图片,所述标注样本图片为在所述初始样本图片对应的训练结果中确定出目标图片后,对所述目标图片中的对象进行纠正后得到的标注图片;
获取所述目标识别模型输出的标注结果,其中,所述标注结果中携带有对所述原始图片中包括的对象标注后的标签。
2.根据权利要求1所述的方法,其特征在于,在所述获取待标注的原始图片之前,还包括:
重复执行以下步骤,直至得到所述目标识别模型:
将所述初始样本图片输入待训练的当前目标识别模型;
获取所述当前目标识别模型的当前训练结果,其中,所述当前训练结果中携带有对所述初始样本图片中识别出的对象进行标注的结果;
根据所述当前训练结果获取所述目标图片;
在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片,并将所述纠正后的标注图片作为所述标注样本图片,输入所述当前目标识别模型进行训练;
在所述目标图片的数量小于所述第一阈值的情况下,将所述当前目标识别模型确定为所述目标识别模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前训练结果获取所述目标图片包括:
获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率;
将所述目标位置的概率属于第一范围且所述目标类型的概率属于第二范围的对象确定为目标对象;
将包含所述目标对象数量最多的图片确定为所述目标图片。
4.根据权利要求3所述的方法,其特征在于,所述获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率包括:
将所述当前训练结果中,每一个对象的每一个位置中,概率最大的位置确定为所述每一个对象的所述目标位置,将所述当前训练结果中所述每一个对象的每一个类型中,概率最大的类型确定为所述每一个对象的所述目标类型。
5.根据权利要求2所述的方法,其特征在于,所述在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片包括:
获取输入的所述目标图片中对象的对象类型和/或对象位置;
按照所述对象位置将所述对象从所述目标图片中裁出,并按照所述对象类型将所述对象存储到不同的文件夹中;
接收纠正所述文件夹中的目标对象的对象类型和/或对象位置的新的对象类型和/或对象位置,使用新的对象类型和/或对象位置替换所述目标对象的对象类型和/或对象位置。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述目标识别模型包括当前目标识别模型与第二识别模型,所述当前目标识别模型用于标注所述原始图片中对象的位置,所述第二识别模型用于标注所述原始图片中对象的类型。
7.一种图片标注装置,其特征在于,包括:
第一获取单元,用于获取待标注的原始图片,其中,所述原始图片中包括至少一个待识别的对象;
输入单元,用于将所述原始图片输入到目标识别模型中,以通过所述目标识别模型对从所述原始图片中识别出的对象进行标注,其中,所述目标识别模型为利用样本图片集进行训练后所得到的用于识别并标注图片中的对象的模型,所述样本图片集包括初始样本图片和标注样本图片,所述标注样本图片为在所述初始样本图片对应的训练结果中确定出目标图片后,对所述目标图片中的对象进行纠正后得到的标注图片;
第二获取单元,用于获取所述目标识别模型输出的标注结果,其中,所述标注结果中携带有对所述原始图片中包括的对象标注后的标签。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
处理单元,用于在所述获取待标注的原始图片之前,重复执行以下步骤,直至得到所述目标识别模型:
将所述初始样本图片输入待训练的当前目标识别模型;
获取所述当前目标识别模型的当前训练结果,其中,所述当前训练结果中携带有对所述初始样本图片中识别出的对象进行标注的结果;
根据所述当前训练结果获取所述目标图片;
在所述目标图片的数量大于第一阈值的情况下,对所述目标图片中所包括的对象的对象类型和/或对象位置进行纠正,得到纠正后的标注图片,并将所述纠正后的标注图片作为所述标注样本图片,输入所述当前目标识别模型进行训练;
在所述目标图片的数量小于所述第一阈值的情况下,将所述当前目标识别模型确定为所述目标识别模型。
9.根据权利要求8所述的装置,其特征在于,所述处理单元还用于:
获取所述当前训练结果中每一张图片中每一个对象的目标位置与所述目标位置的概率,和每一个对象的目标类型与所述目标类型的概率;
将所述目标位置的概率属于第一范围且所述目标类型的概率属于第二范围的对象确定为目标对象;
将包含所述目标对象数量最多的图片确定为所述目标图片。
10.根据权利要求9所述的装置,其特征在于,所述处理单元还用于:
将所述当前训练结果中,每一个对象的每一个位置中,概率最大的位置确定为所述每一个对象的所述目标位置,将所述当前训练结果中所述每一个对象的每一个类型中,概率最大的类型确定为所述每一个对象的所述目标类型。
11.根据权利要求8所述的装置,其特征在于,所述处理单元还用于:
获取输入的所述目标图片中对象的对象类型和/或对象位置;
按照所述对象位置将所述对象从所述目标图片中裁出,并按照所述对象类型将所述对象存储到不同的文件夹中;
接收纠正所述文件夹中的目标对象的对象类型和/或对象位置的新的对象类型和/或对象位置,使用新的对象类型和/或对象位置替换所述目标对象的对象类型和/或对象位置。
12.根据权利要求7至11任意一项所述的装置,其特征在于,所述目标识别模型包括当前目标识别模型与第二识别模型,所述当前目标识别模型用于标注所述原始图片中对象的位置,所述第二识别模型用于标注所述原始图片中对象的类型。
13.一种计算机可读的存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至6任一项中所述的方法。
14.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910894400.4A CN110610169B (zh) | 2019-09-20 | 2019-09-20 | 图片标注方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910894400.4A CN110610169B (zh) | 2019-09-20 | 2019-09-20 | 图片标注方法和装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110610169A true CN110610169A (zh) | 2019-12-24 |
CN110610169B CN110610169B (zh) | 2023-12-15 |
Family
ID=68891810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910894400.4A Active CN110610169B (zh) | 2019-09-20 | 2019-09-20 | 图片标注方法和装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110610169B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429512A (zh) * | 2020-04-22 | 2020-07-17 | 北京小马慧行科技有限公司 | 图像处理方法和装置、存储介质及处理器 |
CN111985565A (zh) * | 2020-08-20 | 2020-11-24 | 上海风秩科技有限公司 | 图片分析方法和装置、存储介质及电子设备 |
CN112733847A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海尔科技有限公司 | 洗涤标的标注方法及装置、存储介质、电子装置 |
CN114677541A (zh) * | 2022-03-23 | 2022-06-28 | 成都智元汇信息技术股份有限公司 | 一种基于目标提取黏合样本集的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138578A (zh) * | 2015-07-30 | 2015-12-09 | 北京奇虎科技有限公司 | 目标图片分类存储方法及其终端 |
WO2017073373A1 (ja) * | 2015-10-30 | 2017-05-04 | 株式会社モルフォ | 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置 |
CN107545576A (zh) * | 2017-07-31 | 2018-01-05 | 华南农业大学 | 基于构图规则的图像编辑方法 |
CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
CN108985334A (zh) * | 2018-06-15 | 2018-12-11 | 广州深域信息科技有限公司 | 基于自监督过程改进主动学习的通用物体检测系统及方法 |
CN109635838A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 人脸样本图片标注方法、装置、计算机设备及存储介质 |
WO2019080900A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 神经网络训练方法和装置、存储介质及电子装置 |
-
2019
- 2019-09-20 CN CN201910894400.4A patent/CN110610169B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105138578A (zh) * | 2015-07-30 | 2015-12-09 | 北京奇虎科技有限公司 | 目标图片分类存储方法及其终端 |
WO2017073373A1 (ja) * | 2015-10-30 | 2017-05-04 | 株式会社モルフォ | 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置 |
CN107545576A (zh) * | 2017-07-31 | 2018-01-05 | 华南农业大学 | 基于构图规则的图像编辑方法 |
WO2019080900A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 神经网络训练方法和装置、存储介质及电子装置 |
CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
CN108985334A (zh) * | 2018-06-15 | 2018-12-11 | 广州深域信息科技有限公司 | 基于自监督过程改进主动学习的通用物体检测系统及方法 |
CN109635838A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 人脸样本图片标注方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
杨阳;张文生;: "基于深度学习的图像自动标注算法", 数据采集与处理, no. 01, pages 88 - 98 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429512A (zh) * | 2020-04-22 | 2020-07-17 | 北京小马慧行科技有限公司 | 图像处理方法和装置、存储介质及处理器 |
CN111429512B (zh) * | 2020-04-22 | 2023-08-25 | 北京小马慧行科技有限公司 | 图像处理方法和装置、存储介质及处理器 |
CN111985565A (zh) * | 2020-08-20 | 2020-11-24 | 上海风秩科技有限公司 | 图片分析方法和装置、存储介质及电子设备 |
CN112733847A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海尔科技有限公司 | 洗涤标的标注方法及装置、存储介质、电子装置 |
CN114677541A (zh) * | 2022-03-23 | 2022-06-28 | 成都智元汇信息技术股份有限公司 | 一种基于目标提取黏合样本集的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110610169B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110610169B (zh) | 图片标注方法和装置、存储介质及电子装置 | |
CN108416003A (zh) | 一种图片分类方法和装置、终端、存储介质 | |
CN107330074A (zh) | 基于深度学习和哈希编码的图像检索方法 | |
CN110413786B (zh) | 基于网页文本分类的数据处理方法、智能终端及存储介质 | |
CN108537115B (zh) | 图像识别方法、装置及电子设备 | |
CN109376731A (zh) | 一种文字识别方法和装置 | |
CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
CN111414948B (zh) | 目标对象检测方法和相关装置 | |
CN110798709B (zh) | 视频处理方法和装置、存储介质及电子装置 | |
CN114419363A (zh) | 基于无标注样本数据的目标分类模型训练方法及装置 | |
CN111506755A (zh) | 图片集的分类方法和装置 | |
CN103942554A (zh) | 一种图像识别方法及装置 | |
CN110490237A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN114168768A (zh) | 图像检索方法及相关设备 | |
CN111401438B (zh) | 图像分拣方法、装置及系统 | |
CN112560718A (zh) | 物料信息的获取方法和装置、存储介质、电子装置 | |
CN103929460A (zh) | 获取联系人状态信息的方法及移动设备 | |
CN110580299B (zh) | 生成对象的推荐语的配图的方法、系统、设备及存储介质 | |
CN111680708A (zh) | 一种给图片加标签的方法和系统 | |
CN113313615A (zh) | 一种对企业司法风险进行量化评分定级的方法及装置 | |
CN109635688B (zh) | 基于图像识别管理书架上书籍的方法与系统 | |
CN113065893A (zh) | 客户信息识别方法、装置、设备及存储介质 | |
CN114493735A (zh) | 获取标签的方法、装置和系统,及计算机终端 | |
CN113255766A (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN113392867A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40018631 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |