CN111091167A - 标志识别训练数据合成方法、装置、电子设备及存储介质 - Google Patents
标志识别训练数据合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111091167A CN111091167A CN202010218420.2A CN202010218420A CN111091167A CN 111091167 A CN111091167 A CN 111091167A CN 202010218420 A CN202010218420 A CN 202010218420A CN 111091167 A CN111091167 A CN 111091167A
- Authority
- CN
- China
- Prior art keywords
- mark
- background picture
- synthesizing
- training data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 54
- 238000001308 synthesis method Methods 0.000 title description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 230000001131 transforming effect Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims description 22
- 238000007500 overflow downdraw method Methods 0.000 claims description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000004904 shortening Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种标志识别训练数据合成方法，涉及数据处理技术领域，包括以下步骤：获取标志实例池和背景图片池；从背景图片池中随机选取背景图片，从标志实例池中随机选取预设数量的标志实例；对标志实例进行随机变换得到变换后的标志实例；根据背景图片的多维信息，合成背景图片和变换后的标志实例，得到用于标志识别的标注文件并输出。该方法只需少量标志图片即可自动合成，可扩展性强，有利于提高基于标注文件训练所得模型的泛化能力；有效提高标注效率，有利于缩短整个标志识别的开发周期，降低开发成本，适用于自动标注任意标志识别项目的训练数据。本发明还公开了一种标志识别训练数据合成装置、电子设备和计算机存储介质。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种标志识别训练数据合成方法、装置、电子设备及存储介质。
背景技术
标志识别是指对输入图像进行分析识别处理，获取图像中标志的精确位置与类别的技术，是当前应用最为广泛的人工智能技术之一。标志作为一种符号，具备丰富的语义信息，对场景理解、内容控制、商业分析具有重要的应用价值，比如交通标志识别是无人驾驶项目中的重要工作；商标标志识别可以加快品牌信息获取速度，给消费者轻松高效的信息获取体验。
当前的标志识别的主流方案是采用深度学习中的目标检测方案进行建模识别。众所周知，深度学习方法对大规模、高质量的标注数据有较高的依赖，但是受到人力、标志出现的场景等限制，对原始标志图片的标志包围框和标志类别进行人工标注，需要耗费大量的人力、物力资源，标注效率低，拖长了整个标志识别的研发周期。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种标志识别训练数据合成方法，其根据背景图片的多维信息，自动合成随机选取的背景图片和经过随机变换的标志实例，得到用于标志识别的标注文件。
本发明的目的之一采用以下技术方案实现：
一种标志识别训练数据合成方法，包括以下步骤：
获取标志实例池和背景图片池；
从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
对所述标志实例进行随机变换，得到变换后的标志实例；
根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到用于标志识别的标注文件并输出。
进一步地，获取标志实例池，包括：
获取待识别标志样图；
对所述待识别标志样图进行图像处理和标注，得到标注信息；
根据所述待识别标志样图和对应的标注信息，生成标志实例；
基于所述标志实例构建所述标志实例池。
进一步地，对所述待识别标志样图进行图像处理和标注，包括：
标注所述待识别标志样图的类别；
设置所述待识别标志样图的包围框；
对镂空的待识别标志样图进行蒙版创建，得到蒙版信息；
获得包括标志类别信息、包围框信息、蒙版信息的所述标注信息。
进一步地，对所述标志实例进行随机变换，包括：
对所述待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合。
进一步地，所述多维信息包括深度信息和分块信息，根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，包括：
根据所述多维信息和变换后的待识别标志样图的尺寸，在所述背景图片上选取放置位置；
根据所述放置位置，在所述背景图片上放置所述变换后的待识别标志样图；
所述背景图片和所述变换后的待识别标志样图通过图像融合方法进行合成。
进一步地，合成所述背景图片和所述变换后的标志实例，还包括：
计算当前待合成的标志实例的包围框与已经合成的标志实例的包围框之间的交并比值；
根据所述交并比值，在所述背景图片上放置所述当前待合成的标志实例，并进行合成。
进一步地，得到用于标志识别的标注文件并输出，包括：
更新所述变换后的待识别标志样图对应的标注信息，将更新后的标注信息写入所述标注文件；
输出所述标注文件，用以进行标志识别。
本发明的目的之二在于提供一种标志识别训练数据合成装置，其根据背景图片的多维信息，自动合成随机选取的背景图片和经过随机变换的标志实例，得到用于标志识别的标注文件。
本发明的目的之二采用以下技术方案实现：
一种标志识别训练数据合成装置，其包括：
获取模块，用于获取标志实例池和背景图片池；
选取模块，用于从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
变换模块，用于对所述标志实例进行随机变换，得到变换后的标志实例；
合成模块，用于根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到标注文件得到用于标志识别的标注文件并输出。
本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时本发明目的之一的标志识别训练数据合成方法。
本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明目的之一的标志识别训练数据合成方法。
相比现有技术，本发明的有益效果在于：
本发明不限制标志类别，对于新增的标志类别，只需要收集少量标志图片即可进行合成，可扩展性强；通过随机选取背景图片和标志实例，并对标志实例进行随机变换，保证了合成的训练数据的多样性，有利于提高基于标注文件训练所得模型的泛化能力；根据背景图片的多维信息，自动合成随机选取的背景图片和经过随机变换的标志实例，极大地减少了数据标注的工作量，有效提高标注效率，缩短整个标志识别的开发周期，降低开发成本，适用于对任意标志识别项目的训练数据进行自动标注。
附图说明
图1为本发明实施例一的标志识别训练数据合成方法流程图；
图2为本发明实施例一的标志实例池构建方法流程图；
图3为本发明实施例二的标志识别训练数据合成装置的结构框图；
图4为本发明实施例三的电子设备的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
实施例一提供了一种标志识别训练数据合成方法，旨在根据背景图片的多维信息，自动合成随机选取的背景图片和经过随机变换的标志实例，得到用于标志识别的标注文件。该方法不限制标志类别，对于新增的标志类别，只需要收集少量标志图片即可进行合成，可扩展性强，并保证了合成的训练数据的多样性，有利于提高基于标注文件训练所得模型的泛化能力；极大地减少了数据标注的工作量，有效提高标注效率，缩短整个标志识别的开发周期，降低开发成本，适用于对任意标志识别项目的训练数据进行自动标注。
请参照图1所示，一种标志识别训练数据合成方法，包括以下步骤：
S10、获取标志实例池和背景图片池。
标志实例池可以是由已有的标志实例构建获得的，也可以根据待识别标志样图即时生成的标志实例构建得到，以利用该标志实例池中的少量标志实例，生成复杂多样的训练数据用以进行标志识别。本实施例中，根据20张待识别标志样图即时生成20个标志实例，进而构建标志实例池。
请参照图2所示，根据待识别标志样图即时生成标志实例，进而构建标志实例池，包括以下步骤：
S101、获取待识别标志样图。
待识别标志样图为不包含过多背景信息的矩形图片，属于某一类待识别标志的常见形式，比如交通标志、商标标志等。获取少量的待识别标志样图，优选地，待标识标识样图的数量范围在二十张到五十张。当标志样图形式的覆盖度越广，合成的训练数据通用性越好，根据该训练数据训练所得的模型泛化能力越好。本实施例中，获取20张待识别标志样图。
S102、对待识别标志样图进行图像处理和标注，得到标注信息。
对20张待识别标志样图进行图像处理和标注，获得对应的标注信息。待识别标志样图的标注信息包括标志类别信息、包围框信息、蒙版信息。标志类别信息通过对待识别标志样图标注获得；待识别标志样图的包围框可以手动标注或默认为图片边框；对镂空的待识别标志样图进行蒙版创建，去除背景部分，得到蒙版信息，通过蒙版信息可以将镂空部分排除掉，进而更好地辅助标志实例与背景图片融合，得到更加符合真实标志图片的效果。
S103、根据待识别标志样图和对应的标注信息，生成标志实例。每个标志实例包括待识别标志样图及其对应的标注信息。
S104、基于标志实例构建标志实例池。20张待识别标志样图与各自对应的标注信息，构建生成标志实例池。
标志识别训练数据的合成需要将标志实例放置在背景图片上，背景图片需与标志识别应用场景的背景图片接近，接近度越高，合成的训练数据效果越好。因此，背景图片池可以由即时收集的接近待识别场景的若干张背景图片构成，也可以是从已有图片库中选取若干张接近待识别场景的图片构建获得。背景图片不能包含待识别的标志实例，否则基于自动合成的数据不会对其进行标注，会在一定程度上影响基于合成得到的标注文件训练所得的模型精度。
背景图片池的数据规模不限，当数据规模越大时，场景覆盖度越高，合成的训练数据效果越好。为了保证合成数据的多样性，优选地，背景图片池中的背景图片大于等于2万张。本实施例中，背景图片池中包括2万张接近待识别场景的背景图片。
S11、从背景图片池中随机选取背景图片，从标志实例池中随机选取预设数量的标志实例。
从背景图片池中随机选取一张背景图片，并随机产生待合成的标志实例数量N。从标志实例池中不断地随机选取一个标志实例，进而与背景图片合成训练数据，直到随机选取的标志实例数据到达预设数量N。
背景图片包括普通的RGB三通道彩色图、深度图和分割图。深度图像（depthimage)也被称为距离影像（range image），是指将从图像采集器到场景中各点的距离（深度）作为像素值的图像，它直接反映了景物可见表面的几何形状。通常RGB图和深度图是配准的，像素点之间具有一对一的对应关系。分割图是由RGB图像分成的若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异。背景图片的深度图和分割图可以通过深度学习的方法预测得到。
S12、对标志实例进行随机变换，得到变换后的标志实例。
对随机选取的标志实例包含的待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合。通过对待识别标志样图进行合理的随机变换，获得变换后的标志实例用以合成训练数据，能够保证训练数据的多样性，有利于提高基于训练数据训练所得模型的泛化能力。
将待识别标志样图绕笛卡尔坐标系的原点逆时针随机旋转任意角度，可以通过OpenCV库，也可以拆分为多个图片块旋转后合成以实现大的待识别标志样图的角度旋转，例如，申请号为CN201710267302.9 的中国发明专利公开了一种图片旋转处理方法及系统，对待识别标志样图的角度旋转不限于以上方法。本实施例中，通过OpenCV库对待识别标志样图进行随机角度旋转。
噪声处理是对待识别标志样图添加噪声，添加的噪声包括但限于高斯噪声、椒盐噪声。优选地，通过OpenCV库实现添加噪声。
仿射变换又称仿射映射，是指在几何中一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换能够保持图像的“平直性”，包括旋转、缩放、平移、错切操作。通过仿射变换矩阵对待识别标志样图进行随机仿射变换。
对待识别标志样图的随机变换不限于颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合，以增加标志实例的多样性，标志实例包含的标注信息随着待识别标志样图的变换一同变换。
S13、根据背景图片的多维信息，合成背景图片和变换后的标志实例，得到用于标志识别的标注文件并输出。
背景图片的多维信息包括深度信息和分块信息。深度信息包含与图片中场景对象表面的距离有关的信息，它的每个像素值是传感器距离图片中物体的实际距离。分块信息包含了背景图片中的物体分布信息。
变换后的标志实例包括变换后的待识别标志样图和更新后的标志信息。根据背景图片的深度信息、分块信息和变换后的待识别标志样图的尺寸，在背景图片上选取放置位置。根据放置位置，在背景图片上放置变换后的待识别标志样图，背景图片和变换后的待识别标志样图通过图像融合方法进行合成。
图像融合方法包括但不限于基于加权平均的融合方法、基于绝对值取大的融合方法、基于主成分析PCA的融合方法、IHS融合方法、基于PCNN的融合方法、基于小波变换的图像融合方法、Alpha融合方法、正片叠底、泊松融合方法。本实施例中，采用基于加权平均的图像融合方法合成背景图片和变换后的待识别标志样图。
当背景图片上合成的标志实例个数未达到预设数量N时，继续从标志实例池中随机选取一个标志实例，对选取的当前待合成的标志实例进行随机变换，并与背景图片进行合成。在合成背景图片与当前待合成的标志实例时，计算当前待合成的标志实例的包围框与已经合成的标志实例的包围框之间的交并比值，根据交并比值在背景图片上放置当前待合成的标志实例，并进行合成。
计算当前待合成的标志实例的包围框与已经合成的标志实例的包围框之间的区域交集和区域并集，交集面积与并集面积通过除法计算得到交并比值IOU。根据交并比值IOU，判断当前待合成的标志实例与已经合成的标志实例是否存在重叠，从而避免背景图片上合成的各个标志实例发生重叠。
当交并比值IOU等于0时，当前待合成的标志实例与已经合成的标志实例不重叠，在背景图片上放置当前待合成的标志实例；当交并比值IOU大于0时，当前待合成的标志实例与已经合成的标志实例存在重叠，在背景图片上调整当前待合成的标志实例的位置，当交并比值IOU等于0时放置当前待合成的标志实例。
在背景图片上放置并完成合成的所有变换后的待识别标志样图，各对应的标注信息随着待识别标志样图的变换一同变换，根据变换情况更新标志实例的标注信息，将更新后的标注信息写入标注文件，并输出该标注文件用以进行标志识别。
该标志识别训练数据的合成方法方法不限制标志的类别，对于新增标志类别，只需要收集少量（比如二十张到五十张）典型的标志样图即可自动完成标志样图及背景图片的合成，具备很好的可扩展性。该方法还可以作为标志识别项目的启动阶段，用于在海量图片中挖掘包含待识别标志的图片，以及完成半自动标注辅助人工标注过程，提高标注效率。
实施例二
实施例二公开了一种对应上述实施例的一种标志识别训练数据合成装置，为上述实施例的虚拟装置结构，请参照图3所示，包括：
获取模块210，用于获取标志实例池和背景图片池；
选取模块220，用于从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
变换模块230，用于对所述标志实例进行随机变换，得到变换后的标志实例；
合成模块240，用于根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到用于标志识别的标注文件并输出。
实施例三
图4为本发明实施例三提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图4中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的标志识别训练数据合成方法对应的程序指令/模块（例如，标志识别训练数据合成装置中的获取模块210、选取模块220、变换模块230和合成模块240）。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述实施例一的标志识别训练数据合成方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收标志实例池、背景图片池等。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行标志识别训练数据合成方法，该方法包括：
获取标志实例池和背景图片池；
从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
对所述标志实例进行随机变换，得到变换后的标志实例；
根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到用于标志识别的标注文件并输出。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的标志识别训练数据合成方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（RandomAccess Memory， RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台电子设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述标志识别训练数据合成装置实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (10)
1.一种标志识别训练数据合成方法，其特征在于：包括以下步骤：
获取标志实例池和背景图片池；
从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
对所述标志实例进行随机变换，得到变换后的标志实例；
根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到用于标志识别的标注文件并输出。
2.如权利要求1所述的一种标志识别训练数据合成方法，其特征在于：获取标志实例池，包括：
获取待识别标志样图；
对所述待识别标志样图进行图像处理和标注，得到标注信息；
根据所述待识别标志样图和对应的标注信息，生成标志实例；
基于所述标志实例构建所述标志实例池。
3.如权利要求2所述的一种标志识别训练数据合成方法，其特征在于：对所述待识别标志样图进行图像处理和标注，包括：
标注所述待识别标志样图的类别；
设置所述待识别标志样图的包围框；
对镂空的待识别标志样图进行蒙版创建，得到蒙版信息；
获得包括标志类别信息、包围框信息、蒙版信息的所述标注信息。
4.如权利要求3所述的一种标志识别训练数据合成方法，其特征在于：对所述标志实例进行随机变换，包括：
对所述待识别标志样图进行颜色变换、角度旋转、噪声处理和仿射变换中的一种或多种组合。
5.如权利要求4所述的一种标志识别训练数据合成方法，其特征在于：所述多维信息包括深度信息和分块信息，根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，包括：
根据所述多维信息和变换后的待识别标志样图的尺寸，在所述背景图片上选取放置位置；
根据所述放置位置，在所述背景图片上放置所述变换后的待识别标志样图；
所述背景图片和所述变换后的待识别标志样图通过图像融合方法进行合成。
6.如权利要求3至5任一项所述的一种标志识别训练数据合成方法，其特征在于：合成所述背景图片和所述变换后的标志实例，还包括：
计算当前待合成的标志实例的包围框与已经合成的标志实例的包围框之间的交并比值；
根据所述交并比值，在所述背景图片上放置所述当前待合成的标志实例，并进行合成。
7.如权利要求5所述的一种标志识别训练数据合成方法，其特征在于：得到用于标志识别的标注文件并输出，包括：
更新所述变换后的待识别标志样图对应的标注信息，将更新后的标注信息写入所述标注文件；
输出所述标注文件，用以进行标志识别。
8.一种标志识别训练数据合成装置，其特征在于，其包括：
获取模块，用于获取标志实例池和背景图片池；
选取模块，用于从所述背景图片池中随机选取背景图片，从所述标志实例池中随机选取预设数量的标志实例；
变换模块，用于对所述标志实例进行随机变换，得到变换后的标志实例；
合成模块，用于根据所述背景图片的多维信息，合成所述背景图片和所述变换后的标志实例，得到用于标志识别的标注文件并输出。
9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时执行权利要求1至7任一项所述的标志识别训练数据合成方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的标志识别训练数据合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010218420.2A CN111091167B (zh) | 2020-03-25 | 2020-03-25 | 标志识别训练数据合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010218420.2A CN111091167B (zh) | 2020-03-25 | 2020-03-25 | 标志识别训练数据合成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091167A true CN111091167A (zh) | 2020-05-01 |
| CN111091167B CN111091167B (zh) | 2020-07-28 |
Family
ID=70400626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010218420.2A Active CN111091167B (zh) | 2020-03-25 | 2020-03-25 | 标志识别训练数据合成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091167B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951259A (zh) * | 2020-08-21 | 2020-11-17 | 季华实验室 | 目标检测数据集生成方法、装置、系统和电子设备 |
| CN112288036A (zh) * | 2020-11-24 | 2021-01-29 | 支付宝(杭州)信息技术有限公司 | 生成训练样本的方法和装置 |
| CN112580717A (zh) * | 2020-12-17 | 2021-03-30 | 百度在线网络技术（北京）有限公司 | 模型训练方法、定位元素查找方法及装置 |
| CN112802049A (zh) * | 2021-03-04 | 2021-05-14 | 山东大学 | 一种家庭物品检测数据集构建方法及系统 |
| CN113688887A (zh) * | 2021-08-13 | 2021-11-23 | 百度在线网络技术（北京）有限公司 | 图像识别模型的训练与图像识别方法、装置 |
| CN113762422A (zh) * | 2021-11-09 | 2021-12-07 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
| WO2022021287A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 实例分割模型的数据增强方法、训练方法和相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778470A (zh) * | 2015-03-12 | 2015-07-15 | 浙江大学 | 基于组件树和霍夫森林的文字检测和识别方法 |
| CN107341488A (zh) * | 2017-06-16 | 2017-11-10 | 电子科技大学 | 一种sar图像目标检测识别一体化方法 |
| CN108230343A (zh) * | 2018-01-05 | 2018-06-29 | 厦门华联电子股份有限公司 | 一种图像处理方法及装置 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN109377467A (zh) * | 2018-09-28 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 训练样本的生成方法、目标检测方法和装置 |
| CN110647931A (zh) * | 2019-09-20 | 2020-01-03 | 深圳市网心科技有限公司 | 物体检测方法、电子设备、系统及介质 |
| CN111062885A (zh) * | 2019-12-09 | 2020-04-24 | 中国科学院自动化研究所 | 基于多阶段迁移学习的标志检测模型训练及标志检测方法 |
-
2020
- 2020-03-25 CN CN202010218420.2A patent/CN111091167B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778470A (zh) * | 2015-03-12 | 2015-07-15 | 浙江大学 | 基于组件树和霍夫森林的文字检测和识别方法 |
| CN107341488A (zh) * | 2017-06-16 | 2017-11-10 | 电子科技大学 | 一种sar图像目标检测识别一体化方法 |
| CN108230343A (zh) * | 2018-01-05 | 2018-06-29 | 厦门华联电子股份有限公司 | 一种图像处理方法及装置 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN109377467A (zh) * | 2018-09-28 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 训练样本的生成方法、目标检测方法和装置 |
| CN110647931A (zh) * | 2019-09-20 | 2020-01-03 | 深圳市网心科技有限公司 | 物体检测方法、电子设备、系统及介质 |
| CN111062885A (zh) * | 2019-12-09 | 2020-04-24 | 中国科学院自动化研究所 | 基于多阶段迁移学习的标志检测模型训练及标志检测方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022021287A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 实例分割模型的数据增强方法、训练方法和相关装置 |
| CN111951259A (zh) * | 2020-08-21 | 2020-11-17 | 季华实验室 | 目标检测数据集生成方法、装置、系统和电子设备 |
| CN112288036A (zh) * | 2020-11-24 | 2021-01-29 | 支付宝(杭州)信息技术有限公司 | 生成训练样本的方法和装置 |
| CN112580717A (zh) * | 2020-12-17 | 2021-03-30 | 百度在线网络技术（北京）有限公司 | 模型训练方法、定位元素查找方法及装置 |
| CN112802049A (zh) * | 2021-03-04 | 2021-05-14 | 山东大学 | 一种家庭物品检测数据集构建方法及系统 |
| CN113688887A (zh) * | 2021-08-13 | 2021-11-23 | 百度在线网络技术（北京）有限公司 | 图像识别模型的训练与图像识别方法、装置 |
| CN113762422A (zh) * | 2021-11-09 | 2021-12-07 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
| CN113762422B (zh) * | 2021-11-09 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091167B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091167B (zh) | 标志识别训练数据合成方法、装置、电子设备及存储介质 | |
| CN109035370B (zh) | 一种图片标注方法与系统 | |
| CN110751682B (zh) | 一种提取和标识图像的方法、装置、终端设备及存储介质 | |
| CN110555433A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20220198721A1 (en) | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data | |
| CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
| CN111160360B (zh) | 图像识别方法、装置及系统 | |
| CN109522807B (zh) | 基于自生成特征的卫星影像识别系统、方法及电子设备 | |
| CN115812221A (zh) | 图像生成及着色方法及装置 | |
| JP2010108135A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| CN109522898A (zh) | 手写样本图片标注方法、装置、计算机设备及存储介质 | |
| CN112052855A (zh) | 一种基于深度学习的车牌识别方法及装置 | |
| CN114332895A (zh) | 文本图像合成方法、装置、设备、存储介质和程序产品 | |
| CN112686243A (zh) | 智能识别图片文字的方法、装置、计算机设备及存储介质 | |
| CN113361643A (zh) | 基于深度学习的通用标志识别方法、系统、设备及存储介质 | |
| WO2017143973A1 (zh) | 文本识别模型建立方法和装置 | |
| CN112418206B (zh) | 基于位置检测模型的图片分类方法及其相关设备 | |
| CN115760886B (zh) | 基于无人机鸟瞰图的地块划分方法、装置及相关设备 | |
| CN115953783A (zh) | 基于图片的工程数据转换方法、装置、设备及存储介质 | |
| CN113766147B (zh) | 视频中嵌入图像的方法、平面预测模型获取方法和装置 | |
| US20240212239A1 (en) | Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium | |
| CN114494509A (zh) | 面向在线制图的标注绘制方法、装置、设备及存储介质 | |
| CN111695441B (zh) | 图像文档处理方法、装置及计算机可读存储介质 | |
| CN114240734A (zh) | 图像数据增广方法、装置、电子设备及存储介质 | |
| CN113269045A (zh) | 自然场景下中文艺术字检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210209 Address after: 310000 room 206, building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Zhongbo Credit Information Co.,Ltd. Address before: Room 704, building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: TONGDUN HOLDINGS Co.,Ltd. |
|
| TR01 | Transfer of patent right |