CN113989592A - 一种语义分割图像样本的扩充方法、装置及电子设备 - Google Patents
一种语义分割图像样本的扩充方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113989592A CN113989592A CN202111266409.4A CN202111266409A CN113989592A CN 113989592 A CN113989592 A CN 113989592A CN 202111266409 A CN202111266409 A CN 202111266409A CN 113989592 A CN113989592 A CN 113989592A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- point
- new
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000013519 translation Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种语义分割图像样本的扩充方法、装置及电子设备，包括：由原样本数据中获取样本图像和所述样本图像的标注点；将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。用以解决现有技术中在对语义分割模型的训练样本进行扩充时，需要对扩充的样本进行人工标注，使得模型训练效率低下的缺陷，实现扩充图像样本的自动标注，提高了语义分割模型的训练效率，并有效降低了成本。
Description
技术领域
本发明涉及图像语义分割技术领域，尤其涉及一种语义分割图像样本的扩充方法、装置及电子设备。
背景技术
语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据(例如，平面图像)作为输入，并将它们转换为具有突出显示的感兴趣区域的掩模。随着深度学习的推广，诸如MASK R-CNN、U-NET、PSPNET等语义分割模型越来越多的使用到了相应的工业场景，因为不仅可以勾勒出工件的轮廓，同时也能以相当高的精度给出工件的种类，这是十分诱人的。
然而，为了训练出来很好的语义分割模型，是需要大量的训练样本来训练模型的。那么，怎样扩充训练样本就成了一个突出的问题。
目前，针对语义分割模型的语义分割样本标注扩充方法，主要是通过将原始图像旋转任意角度，比如10°，得到旋转后的新图像，然后在新图像上进行标注，进而得到新的图像样本。这种样本扩充方法大都需要人工在新图像上进行标注，而人工标注不仅耗时耗力，且成本太高；同时，因为人工的参与，也使得标注精度无法保持，尤其是在后期疲劳标注的时候；同样的，在核查时，校对和修改也相对困难。
发明内容
本发明提供一种语义分割图像样本的扩充方法、装置及电子设备，用以解决现有技术中在对语义分割模型的训练样本进行扩充时，需要对扩充的样本进行人工标注，使得模型训练效率低下的缺陷，实现扩充图像样本的自动标注，提高了语义分割模型的训练效率，并有效降低了成本。
本发明提供一种语义分割图像样本的扩充方法，包括：
由原样本数据中获取样本图像和所述样本图像的标注点；
将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；
将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
根据本发明所述的语义分割图像样本的扩充方法，所述旋转中心点为原点为在所述样本图像上任意选定的一点。
根据本发明所述的语义分割图像样本的扩充方法，所述将所述样本图像按照预设的角度以旋转中心点为原点进行旋转，具体包括：
根据所述旋转中心点的坐标分别构建样本图像的平移矩阵和平移矩阵的逆矩阵；
根据所述预设的角度构建旋转矩阵；
根据所述平移矩阵、平移矩阵的逆矩阵、旋转中心点的旋转矩阵以及所述样本图像中的像素点的坐标，得到各个所述像素点按照预设的角度以旋转中心点为原点旋转后的坐标。
根据本发明所述的语义分割图像样本的扩充方法，所述将所述样本图像的标注点按照预设的角度以旋转中心点为原点进行旋转，具体包括：
根据所述平移矩阵、平移矩阵的逆矩阵、所述旋转矩阵以及所述样本图像的标注点的坐标，得到所述样本图像的各个标注点按照预设的角度以旋转中心点为原点旋转后的坐标。
根据本发明所述的语义分割图像样本的扩充方法，所述将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点，进一步包括：
多次重复将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转的操作，得到通过不同预设角度旋转生成的新图像样本和新图像样本的标注点。
根据本发明所述的语义分割图像样本的扩充方法，所述将所述新图像样本和新图像样本的标注点作为新的样本数据前，还包括：
分别检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域；
若是，则将所述新图像样本和新图像样本的标注点删除；
若否，则将所述新图像样本和新图像样本的标注点作为新的样本数据。
本发明还提供一种语义分割图像样本的扩充装置，包括：
获取模块，用于由原样本数据中获取样本图像和所述样本图像的标注点；
处理模块，用于将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；
执行模块，用于将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行时实现如上述任一种所述语义分割图像样本的扩充方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语义分割图像样本的扩充方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语义分割图像样本的扩充方法的步骤。
本发明提供的一种语义分割图像样本的扩充方法、装置及电子设备，通过将由原样本数据中获取的样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，使得得到的新图像样本上自动带有标注点，则新图像样本和新图像样本的标注点可以直接作为新的样本数据，用于语义分割模型的训练，避免了通过原图像样本进行图像样本扩充后，还需对扩充的新图像重新标注的麻烦，使得语义分割模型的训练效率大大提高，也降低了模型训练的成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种语义分割图像样本的扩充方法的流程示意图；
图2是本发明提供的一种语义分割图像样本的扩充方法的工作流程图；
图3是本发明提供的一种语义分割图像样本的扩充装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，语义分割相较于仅能将图片中的目标物框选出来的目标检测来说，不仅能够将图片中的目标物识别出来，而且还能将目标物的轮廓通过标记点在图片上标出，所以对于通过将样本图像进行旋转来扩充样本数据的技术方案来说，对于目标检测的样本数据的扩充，仅需要将旋转后的样本图像中的目标框进行重新标注，标注的工作量较少，且在旋转后对图像进行自动标注并不难实现，而对于语义分割模型的样本数据来说，标注点为目标物的轮廓上的点，而目标物的形状越复杂，则标注点越多，在对训练样本进行扩充时，重新标注的工作量显然更大，想要实现旋转后的标注点的自动标注也难度也更高。
基于此，本发明提出了一种语义分割图像样本的扩充方法，下面结合图1描述本发明的一种语义分割图像样本的扩充方法，所述方法包括以下步骤：
101、由原样本数据中获取样本图像和所述样本图像的标注点。
需要说明的是，原样本数据也可以理解为初始样本数据，具体可以是在语义分割模型的应用场景中，直接通过对实际场景中获取的真实图像进行标注得到，例如在工业应用场景中，可以是某机械设备的内部图像，而图像中的组成所述机械设备的工件是目标图像，通过对所需要分割出的工件进行标注，形成初始样本数据，即原样本数据。
102、将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点。
103、将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
需要说明的是，通过对原数据样本中的样本图像进行旋转，能够得到新的图像样本。进一步地，在将样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，就能得到新图像样本和所述新图像样本的标注点，即使得到的新图像样本上直接带有了标注点，可以直接在保存后作为新的样本数据用于语义分割模型的训练，避免了在旋转后的图像上重新标注的麻烦，大大提高了模型训练的效率，并降低了成本。
可以理解的是，目前对于通过图像样本的旋转来扩充图像样本的技术中，多以图片的中心点为原点进行旋转，然而，这种旋转方式所能产生的样本数据是有限的，且对于能够将目标物的轮廓进行识别的语义分割来说，因为目标物在图片上的位置的限制，可能以图片的中心点进行的旋转，对于样本数据的扩充并没有实际的意义，基于此，在本发明的一个实施例中，在所述样本图像上选定任一点作为所述样本图像的旋转中心点。
需要说明的是，通过旋转中心点的任意选择，较之仅能以图片的中心点进行旋转的图像样本扩充，能够得到更多的，且更有价值的样本信息，进而使得训练得到的语义分割模型更加准确。
在本发明的另一个实施例中，具体说明了将所述样本图像按照预设的角度进行旋转的具体方法，包括：
根据所述旋转中心点的坐标分别构建样本图像的平移矩阵和平移矩阵的逆矩阵；
根据所述预设的角度构建旋转矩阵；
根据所述平移矩阵、平移矩阵的逆矩阵、旋转中心点的旋转矩阵以及所述样本图像中的像素点的坐标，得到各个所述像素点按照预设的角度以旋转中心点为原点旋转后的坐标。
需要说明的是，在上述实施例中，对于图像的旋转基于仿射变换中的旋转变换进行。
具体地，以样本图像中的像素点为单位，用x和y表示样本图像中的像素点的坐标；cx和cv表示样本图像的旋转中心点；θ表示样本图像的旋转角度，则构建的平移矩阵Mt、平移矩阵的逆矩阵
以及旋转矩阵Mr分别为：
则样本图像的像素点按照旋转角度θ旋转后的坐标x’和y’用下述公式4得到：
在本发明的另一个实施例中，具体说明了将所述样本图像的标注点按照预设的角度进行旋转的具体方法，包括：
根据所述平移矩阵、平移矩阵的逆矩阵、所述旋转矩阵以及所述样本图像的标注点的坐标，得到所述样本图像的各个标注点按照预设的角度旋转后的坐标。
需要说明的是，对于样本图像的标注点的旋转同样是基于仿射变换中的旋转变换进行。同时，因为标注点本身就是点，因而并不需要如样本图像般以像素点为单位进行旋转后的坐标的求取，所以仅需根据平移矩阵、平移矩阵的逆矩阵、所述旋转矩阵以及所述样本图像的标注点的坐标，基于公式4就能得到所述样本图像的各个标注点按照预设的角度旋转后的坐标。
在本发明的另一个实施例中，所述将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点，进一步包括：
多次重复将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转的操作，得到通过不同预设角度旋转生成的新图像样本和新图像样本的标注点。
需要说明的是，通过将图像样本和图像样本的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转的操作多次重复，能够通过变换不同的旋转角度，得到大量的新的图像样本，从而实现样本数据集的快速扩充。
可以理解的是，本发明上述实施例中的语义分割图像样本的扩充方法中，能够实现以任意选定的旋转中心点进行图像样本的旋转，所以，为保证旋转后生成的新的样本数据的可用性，在本发明的另一个实施例中，在将所述新图像样本和新图像样本的标注点作为新的样本数据前，还分别检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域；
若是，则将所述新图像样本和新图像样本的标注点删除；
若否，则将所述新图像样本和新图像样本的标注点作为新的样本数据。
需要说明的是，通过检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域，即检验旋转后的图像和旋转后的标注坐标是否超出了图像区域，即变得残缺不全，能够将旋转后已经超出有效区域的新图像样本和新图像样本的标注点删除，从而保证了生成的新的样本数据的可用性，提高了利用数据样本训练的语义分割模型的准确度。
具体地，以在openCV内进行所述样本图像和样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点的操作为例，本发明的一种语义分割图像样本的扩充方法的具体流程为：
201、由原样本数据中获取样本图像和所述样本图像的标注点；
202、设定旋转角度和旋转中心点；
203、将所述样本图像和所述样本图像的标注点按照设定的旋转中心点平移至左上角的坐标原点；
204、将平移后的样本图像和样本图像的标注点按照设定的旋转角度进行旋转；
205、将旋转后的样本图像和样本图像的标注点平移回设定的旋转中心点，得到新图像样本和所述新图像样本的标注点；
206、分别检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域；是，则进入步骤207；否，则跳转至208；
207、将所述新图像样本和新图像样本的标注点删除；
208、将所述新图像样本和新图像样本的标注点作为新的样本数据；
209、返回步骤202或结束语义分割图像样本的扩充。
需要说明的是，本发明的一种语义分割图像样本的扩充方法通过将由原样本数据中获取的样本图像和相应样本图像的标注点按照预设的旋转角度以旋转中心点为原点进行相同角度的旋转，实现了样本图像和样本图像的标注点的同步旋转，避免了样本图像旋转后重新标注的麻烦，有效提高了语义分割模型的训练效率，并节省了成本，同时，在旋转前能够根据需要随意设定样本图像的旋转中心点，以及样本图像的旋转角度，能够得到大量的新的图像和新的标注点信息，且配合检验步骤的设置，有效避免了因旋转后，新图像样本或标注点超出图像有效区域后，得到无效的新样本数据的弊端，实现新样本数据的有效大量快速扩充，方法简单可实施性强。
下面对本发明提供的一种语义分割图像样本的扩充装置进行描述，下文描述的一种语义分割图像样本的扩充装置与上文描述的一种语义分割图像样本的扩充方法可相互对应参照。
如图3所示，本发明提供的一种语义分割图像样本的扩充装置，包括获取模块310、处理模块320和执行模块330；其中，
获取模块310用于由原样本数据中获取样本图像和所述样本图像的标注点；
处理模块320用于将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；
执行模块330用于将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
需要说明的是，本发明提供的一种语义分割图像样本的扩充装置，通过将由原样本数据中获取的样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，使得得到的新图像样本上自动带有标注点，则新图像样本和新图像样本的标注点可以直接作为新的样本数据，用于语义分割模型的训练，避免了通过原图像样本进行图像样本扩充后，还需对扩充的新图像重新标注的麻烦，使得语义分割模型的训练效率大大提高，也降低了模型训练的成本。
在本发明的一个优选方案中，所述语义分割图像样本的扩充装置中，还包括选择模块；所述选择模块用于在所述样本图像上选定任一点作为所述样本图像的旋转中心点。
在本发明的另一个优选方案中，所述处理模块320还包括：第一构建单元、第二构建单元和计算单元；其中，
所述第一构建单元用于根据所述旋转中心点的坐标分别构建样本图像的平移矩阵和平移矩阵的逆矩阵；
所述第二构建单元用于根据所述预设的角度构建旋转矩阵；
所述计算单元用于根据所述平移矩阵、平移矩阵的逆矩阵、旋转中心点的旋转矩阵以及所述样本图像中的像素点的坐标，得到各个所述像素点按照预设的角度以旋转中心点为原点旋转后的坐标。
在本发明的另一个优选方案中，所述计算单元还用于根据所述平移矩阵、平移矩阵的逆矩阵、所述旋转矩阵以及所述样本图像的标注点的坐标，得到所述样本图像的各个标注点按照预设的角度以旋转中心点为原点旋转后的坐标。
在本发明的另一个优选方案中，所述处理单元320还进一步用于多次重复将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转的操作，得到通过不同预设角度旋转生成的新图像样本和新图像样本的标注点。
在本发明的另一个优选方案中，所述语义分割图像样本的扩充装置中还包括判断模块和操作模块；其中，
所述判断模块用于分别检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域；
所述操作模块用于在所述新图像样本和新图像样本的标注点的坐标超出了设定的有效区域时，将所述新图像样本和新图像样本的标注点删除。
而在所述新图像样本和新图像样本的标注点的坐标未超出设定的有效区域时，由所述执行模块330将所述新图像样本和新图像样本的标注点作为新的样本数据。
本发明的一种语义分割图像样本的扩充装置，通过获取模块210将由原样本数据中获取的样本图像和相应样本图像的标注点，通过处理模块220按照预设的旋转角度以旋转中心点为原点进行相同角度的旋转，实现了样本图像和样本图像的标注点的同步旋转，避免了样本图像旋转后重新标注的麻烦，有效提高了语义分割模型的训练效率，并节省了成本，同时，在旋转前能够通过选择模块根据需要随意设定样本图像的旋转中心点，以及通过处理模块设定样本图像的旋转角度，能够得到大量的新的图像和新的标注点信息，且配合判断模块和操作模块的设置，有效避免了因旋转后，新图像样本或标注点超出图像有效区域后，得到无效的新样本数据的弊端，实现新样本数据的有效大量快速扩充。
本发明的一种语义分割图像样本的扩充装置用于前述各实施例的语义分割图像样本的扩充方法。因此，在前述各实施例中的语义分割图像样本的扩充方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行一种语义分割图像样本的扩充方法，该方法包括：由原样本数据中获取样本图像和所述样本图像的标注点；将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种语义分割图像样本的扩充方法，该方法包括：由原样本数据中获取样本图像和所述样本图像的标注点；将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种语义分割图像样本的扩充方法，该方法包括：由原样本数据中获取样本图像和所述样本图像的标注点；将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种语义分割图像样本的扩充方法，其特征在于，包括：
由原样本数据中获取样本图像和所述样本图像的标注点；
将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；
将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
2.根据权利要求1所述的语义分割图像样本的扩充方法，其特征在于，所述旋转中心点为在所述样本图像上任意选定的一点。
3.根据权利要求2所述的语义分割图像样本的扩充方法，其特征在于，所述将所述样本图像按照预设的角度以旋转中心点为原点进行旋转，具体包括：
根据所述旋转中心点的坐标分别构建样本图像的平移矩阵和平移矩阵的逆矩阵；
根据所述预设的角度构建旋转矩阵；
根据所述平移矩阵、平移矩阵的逆矩阵、旋转中心点的旋转矩阵以及所述样本图像中的像素点的坐标，得到各个所述像素点按照预设的角度旋转后的坐标。
4.根据权利要求3所述的语义分割图像样本的扩充方法，其特征在于，所述将所述样本图像的标注点按照预设的角度以旋转中心点为原点进行旋转，具体包括：
根据所述平移矩阵、平移矩阵的逆矩阵、所述旋转矩阵以及所述样本图像的标注点的坐标，得到所述样本图像的各个标注点按照预设的角度以旋转中心点为原点旋转后的坐标。
5.根据权利要求4所述的语义分割图像样本的扩充方法，其特征在于，所述将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点，进一步包括：
多次重复将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转的操作，得到通过不同预设角度以旋转中心点为原点旋转生成的新图像样本和新图像样本的标注点。
6.根据权利要求5所述的语义分割图像样本的扩充方法，其特征在于，所述将所述新图像样本和新图像样本的标注点作为新的样本数据前，还包括：
分别检验所述新图像样本和新图像样本的标注点的坐标是否超出了设定的有效区域；
若是，则将所述新图像样本和新图像样本的标注点删除；
若否，则将所述新图像样本和新图像样本的标注点作为新的样本数据。
7.一种语义分割图像样本的扩充装置，其特征在于，包括：
获取模块，用于由原样本数据中获取样本图像和所述样本图像的标注点；
处理模块，用于将所述样本图像和所述样本图像的标注点按照预设的角度以旋转中心点为原点进行相同角度的旋转，得到新图像样本和所述新图像样本的标注点；
执行模块，用于将所述新图像样本和新图像样本的标注点作为新的样本数据，实现用于语义分割模型训练的样本数据的扩充。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述语义分割图像样本的扩充方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述语义分割图像样本的扩充方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述语义分割图像样本的扩充方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111266409.4A CN113989592A (zh) | 2021-10-28 | 2021-10-28 | 一种语义分割图像样本的扩充方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111266409.4A CN113989592A (zh) | 2021-10-28 | 2021-10-28 | 一种语义分割图像样本的扩充方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989592A true CN113989592A (zh) | 2022-01-28 |
Family
ID=79743848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111266409.4A Pending CN113989592A (zh) | 2021-10-28 | 2021-10-28 | 一种语义分割图像样本的扩充方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989592A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753914A (zh) * | 2018-12-28 | 2019-05-14 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌字符识别方法 |
| CN110619330A (zh) * | 2019-09-18 | 2019-12-27 | 上海眼控科技股份有限公司 | 识别模型的训练方法、装置、计算机设备及识别方法 |
| CN111798435A (zh) * | 2020-07-08 | 2020-10-20 | 国网山东省电力公司东营供电公司 | 图像处理方法、工程车辆侵入输电线路监测方法及系统 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| KR20210042275A (ko) * | 2020-05-27 | 2021-04-19 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 스몰 타깃 검출 방법 및 장치 |
| CN112767369A (zh) * | 2021-01-25 | 2021-05-07 | 佛山科学技术学院 | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 |
| CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
-
2021
- 2021-10-28 CN CN202111266409.4A patent/CN113989592A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753914A (zh) * | 2018-12-28 | 2019-05-14 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌字符识别方法 |
| CN110619330A (zh) * | 2019-09-18 | 2019-12-27 | 上海眼控科技股份有限公司 | 识别模型的训练方法、装置、计算机设备及识别方法 |
| KR20210042275A (ko) * | 2020-05-27 | 2021-04-19 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 스몰 타깃 검출 방법 및 장치 |
| CN111798435A (zh) * | 2020-07-08 | 2020-10-20 | 国网山东省电力公司东营供电公司 | 图像处理方法、工程车辆侵入输电线路监测方法及系统 |
| CN111951284A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 |
| CN112767369A (zh) * | 2021-01-25 | 2021-05-07 | 佛山科学技术学院 | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 |
| CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10936911B2 (en) | Logo detection | |
| CN108304814B (zh) | 一种文字类型检测模型的构建方法和计算设备 | |
| US8958643B2 (en) | Recognition of numerical characters in digital images | |
| CN110599387A (zh) | 一种自动去除图片水印的方法及装置 | |
| CN110751682B (zh) | 一种提取和标识图像的方法、装置、终端设备及存储介质 | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN108765584A (zh) | 激光点云数据集增广方法、装置及可读存储介质 | |
| CN111797821A (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN112308069A (zh) | 一种软件界面的点击测试方法、装置、设备及存储介质 | |
| CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CN116597466A (zh) | 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统 | |
| CN106709490B (zh) | 一种字符识别方法和装置 | |
| CN112991410A (zh) | 一种文本图像配准方法、电子设备及其存储介质 | |
| CN110334818B (zh) | 一种管路自动识别的方法及系统 | |
| CN111401465A (zh) | 训练样本优化方法、装置、设备及存储介质 | |
| CN114579796B (zh) | 机器阅读理解方法及装置 | |
| CN113989592A (zh) | 一种语义分割图像样本的扩充方法、装置及电子设备 | |
| CN111028313B (zh) | 桌台分布图像生成方法及装置 | |
| CN112733670A (zh) | 指纹特征提取方法、装置、电子设备及存储介质 | |
| CN111401365A (zh) | Ocr图像自动生成方法及装置 | |
| JP7137170B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN115393337A (zh) | 工业缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN113705593A (zh) | 产生训练数据的方法及电子装置 | |
| CN115439850A (zh) | 基于审单的图文字符识别方法、装置、设备及存储介质 | |
| CN111967356A (zh) | 图像中行人检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |