CN111383267B - 一种目标重定位方法、设备及存储介质 - Google Patents
一种目标重定位方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111383267B CN111383267B CN202010145839.XA CN202010145839A CN111383267B CN 111383267 B CN111383267 B CN 111383267B CN 202010145839 A CN202010145839 A CN 202010145839A CN 111383267 B CN111383267 B CN 111383267B
- Authority
- CN
- China
- Prior art keywords
- positioning frame
- image
- positioning
- original image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012360 testing method Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 12
- 230000002708 enhancing effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种目标重定位方法、设备及存储介质，其中方法包括：对原始图像进行数据增强操作，使得原始图像对应的新增图像，原始图像的第一定位框对应的第二定位框；根据数据增强操作的执行顺序，对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；根据第二定位点确定第二定位框的外切矩形，并将该外切矩形作为新增图像的第三定位框。可见，本申请可以通过原始图像的第一定位框，快速重定位到新增图像的第三定位框，从而实现了数据增强的自动标注。总的来说，本申请提供了一种高效、准确和快速的目标重定位方法。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种目标重定位方法、设备及存储介质。
背景技术
为了获得用于深度学习的海量训练数据，可以通过数据增强技术来将原始图像进行增殖得到大量的新增图像。数据增强技术是一种通过随机扩增来提高数据量和数据多样性的策略。数据增强后生成的新增图像需要以人工方式进行标注，使得图像中的目标对象被列入定位框里。
面对海量数据集，人工标注需要花费大量的人力和时间，极大地影响后续深度学习开发的效率。因此，数据增强的自动标注成为一个亟待解决的问题。
发明内容
本申请实施例提供一种目标重定位方法，可以根据原始图像的定位框来进行重定位得到新增图像的定位框，从而实现数据增强的自动标注。
第一方面，本申请实施例提供了一种目标重定位方法，该方法包括：
对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作的执行顺序；
根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；
根据所述第二定位框的第二定位点确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置。
第二方面，本申请实施例提供了一种目标重定位设备，该目标重定位设备包括用于执行上述第一方面的目标重定位方法的单元，该目标重定位设备包括：
增强单元，用于对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作的执行顺序；
换算单元，用于根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；
重定位单元，用于根据所述第二定位框的第二定位点确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置。
第三方面，本申请实施例提供了一种目标重定位设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行如第一方面所述的方法
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如第一方面所述的方法。
本申请先对原始图像进行数据增强操作，得到原始图像对应的新增图像，原始图像的第一定位框对应的第二定位框。然后根据数据增强操作的执行顺序，对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点。最后根据第二定位点确定第二定位框的外切矩形，并将该外切矩形作为新增图像的第三定位框。总的来说，本申请通过原始图像的第一定位框，快速重定位到新增图像的第三定位框，提供了一种高效、准确和快速的目标重定位方法，从而实现了数据增强的自动标注。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种目标重定位的举例示意图；
图2是本申请实施例提供的一种目标重定位方法的示意流程图；
图3是本申请另一实施例提供的一种目标重定位方法的示意流程图；
图4是本申请实施例提供的一种目标重定位设备的示意性框图；
图5是本申请实施例提供的一种目标重定位设备的结构性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请主要应用于目标重定位设备，该目标重定位设备可以是传统目标重定位设备或者本申请第三实施例和第四实施例所描述的目标重定位设备，本申请对此不做限制。当目标重定位设备与其他终端设备进行数据交互的时候，目标重定位设备和其他终端设备都按照预设格式进行对数据的特性进行记录并传送，其中，数据的特性包括时间、地点、类型等。其中，终端设备可以是任意具有数据收发功能及处理功能的设备，本申请对此不做限制。
为了获得用于深度学习的海量训练数据，可以通过数据增强来将原始图像进行增殖得到大量的新增图像。数据增强例如有平移、裁剪、旋转、翻转、缩放、对比度变换、颜色变换、噪声扰动、高斯模糊等。本申请中的数据增强操作指的是对原始图像进行至少一种数据增强。对原始图像进行数据增强操作后生成的新增图像可以通过人工方式进行标注，使得图像中的目标对象被列入定位框里。面对海量数据集，人工标注需要花费大量的人力和时间，极大地影响后续深度学习开发的效率。为解决数据增强的自动标注的问题，本申请提出了一种高效的目标重定位方法。
需要说明的是，本申请实施过程中涉及的图像(例如原始图像和新增图像等)上的各个点的坐标都是基于同一个直角坐标系来确定的，水平方向和垂直方向分别指的是直角坐标系的横轴方向和纵轴方向。接下来对此不再赘述。
为了能够更好地理解本发明实施例，下面将结合图1并以原始图像进行的数据增强为旋转为例，对应用本发明实施例的方法进行介绍，本发明实施例可以应用于目标重定位设备对数据增强得到的增强图像进行目标重定向的场景中。
目标重定向设备先获取如图1中的第一小图所示的原始图像，原始图像中包括有目标对象，以及用于指示出该目标对象所在位置的第一定位框，第一定位框可以为如图所示的目标对象所在位置的外切矩形，也可以为大于目标对象所在位置的外切矩形的矩形。还需要说明的是，该第一定位框可以是人工标注或者是机器图像识别得到的，本申请对此不作限定。目标重定位设备先对原始图像进行数据增强操作，即以第一定位框的中心点W为定点进行旋转之后，得到如图1的第二小图所示的原始图像对应的新增图像，以及原始图像中的第一定位框对应的第二定位框。在对原始图像进行数据增强的同时，目标重定位设备还通过生成新增图像的标志项来对原始图像所进行的数据增强操作进行记录。标志项可以为单个字符或者字符串，不同的标志项用于表示不同的数据增强操作。
需要说明的是，本申请实施例中对原始图像进行旋转作为一种举例，实际上目标重定位设备可以对原始图像顺序执行任意多种数据增强，例如依次对原始图像进行旋转、缩放及高斯模糊等。基于前述内容，在对原始图像执行任意多种数据增强时，新增图像的标志项不仅用于记录原始图像所进行的数据增强操作，还用于记录原始图像所进行的数据增强操作的执行顺序。在标志项还用于记录数据增强操作的执行顺序的情况下，标志项为字符串，且字符串中每单个字符或者每多个字符代表一种数据增强，例如标志项010011101中每三个字符代表一种数据增强，则标志项010011101表示原始图像依次通过三种数据增强来得到新增图像。
在对原始图像进行数据增强之后，目标重定位设备通过对第一定位框的第一定位点进行数据增强操作的重现，来确定第二定位框的第二定位点。其中，第一定位点可以唯一确定第一定位框的位置，且第一定位定位框的第一定位点的具体数值被预先存储在目标重定位设备中。具体的，如图1中的第三小图所示，根据前述生成的标志项所指示的数据增强(即旋转)所对应的变换参数，即旋转角度θ，对第一定位框ABCD的第一定位点A、B、C、D和W进行换算，从而得到第二定位框A′B′C′D′的第二定位点A′、B′、C′、D′和W。对应的，若标志项记录了的数据增强包含了多种数据增强，则按照该标志项所指示的数据增强操作的执行顺序，以及数据增强操作包含的各数据增强分别对应的变换参数，对第一定位点进行换算，以最终得到第二定位点。其中，不同的数据增强操作对应不同的变换参数，数据增强操作例如：平移、裁剪、旋转、翻转和缩放，分别对应变换参数：平移距离、裁剪尺寸、旋转角度、翻转角度和缩放比例。数据增强操作和对应的变换参数包括但不限于上述举例，本申请对此不作限定。
需要说明的是，如图1中所示，不论是第一定位框的第一定位点，第二定位框的第二定位点，还是接下来会提到的第三定位框的第三定位点，都可以分别包含一个或多个定位点。接下来对此不再赘述。
在另一种可实施的方式，在得到第一定位框对应的第二定位框之后，将原始图像的第一定位框投影到所述新增图像上，以确定第二定位框是否与第一定位框重合。若重合则将第一定位框的第一定位点作为第二定位框的第二定位点；若不重合则按照前述数据增强的重现方法，来将第一定位框的第一定位点进行换算，得到第二定位框的第二定位点。
由于原本为规则矩形框(规则矩形框指的是，长和宽分别与垂直方向和水平方向平行的矩形，或者长和宽分别与水平方向和垂直方向平行的矩形)的第一定位框在数据增强之后得到的第二定位定位框可能不是规则矩形框。因此在确定了第二定位框之后，需要对该第二定位框进行规范化。具体的，如图1的第四小图所示，根据第二定位框的第二定位点A′、B′、C′、D′和W确定第二定位框的外切矩形EFGH，该外切矩形为规则矩形框，并将该外切矩形作为用于指示目标对象在新增图像中的位置的第三定位框。需要说明的是，对定位框进行规范化是为了便于后续更好的对图像处理模型进行训练。
在另一种可实施的方式，若第一定位框与第二定位框重合，则表示第二定位框是符合预设规范的，因此不需要对该第二定位框进行规范化，并直接将第一定位框或者第二定位框作为用于上述新增图像中的第三定位框。可见，通过判断增加确定第一定位框是否与第二定位框重合的步骤，可以简化新增图像的第三定位框的重定位过程，以进一步提高重定位的效率。
在得到新增图像的第三定位框之后，对重定位结果进行评估及筛选。具体的，先确定新增图像的第三定位框的第三定位点。然后判断新增图像的第三定位框的第三定位点是否全部定位点或者部分定位点在新增图像内：若第三定位框的第三定位点全部定位点都在新增图像中，则将新增图像以及第三定位框存储为用于训练深度学习模型的训练样本；若第三定位框的第三定位点全部或者部分不在新增图像中，则根据该第三定位框位于在新增图像外的面积的大小，确定是否将该新增图像以及第三定位框作为训练样本。具体的，确定新增图像的第三定位框位于在新增图像外的面积，并将该面积作为截断面积。若该截断面积大于预设阈值，则清除该新增图像以及第三定位框；若该截断面积小于等于预设阈值，则将该新增图像以及第三定位框存储为训练样本。
通过执行上述步骤得到训练样本之后，利用该训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型。再利用该训练得到的图像处理模型对测试图像进行分析得到测试图像的定位框。再然后输出并显示该测试图像以及该测试图像的定位框，使得技术人员对测试图像的定位框进行调整。接收技术人员针对该测试图像的定位框发送的调整指令，根据调整指令对测试图像的定位框进行调整。最后将测试图像以及调整之后的定位框分别作为原始图像和原始图像的第一定位框，该得到的原始图像可以用于再一次进行数据增强得到新增图像，该新增图像又可以作为用于训练图像处理模型的训练样本。可见，本申请通过提供一种良性的闭环方法来大大提高图像处理模型的训练效率。
需要说明的是，图1中所示内容为一种举例，并不构成对本发明实施例的限定，因为本申请原始图像所进行的数据增强操作等进行限定。例如原始图像可以进行平移、裁剪、旋转、翻转、缩放、对比度变换、颜色变换、噪声扰动、高斯模糊等数据增强中的一种或多种，本申请对此不作限定。
参见图2，是本申请实施例提供一种目标重定位方法的示意流程图，如图2 所示目标重定位方法可包括：
201：对包括有第一定位框的原始图像进行数据增强操作，得到原始图像对应的新增图像，第一定位框对应的第二定位框，并生成新增图像的标志项。
在本申请实施例中，目标重定位设备对原始图像进行数据增强操作，使得该原始图像变为新增图像，该原始图像中的第一定位框变为第二定位框。其中，第一定位框是规则矩形框，第一定位框用于指示原始图像中的目标对象在该原始图像中的位置，数据增强包括旋转、缩放、裁剪和颜色变换等，数据增强操作用于指示对原始图像进行至少一种数据操作。在对原始图像进行数据增强得到新增图像的同时，目标重定位设备还会生成用于记录数据增强情况的标志项。该标志项中记载了原始图像所进行的数据增强操作，以及原始图像所进行的数据增强操作的执行顺序。例如，标志项可以是一串多进制编码，每预设位数的编码即对应一种数据增强。
需要说明的是，若数据增强操作可以包含按照前面所描述的数据增强的任意多种数据增强的任意排列组合。也即是说，在n种数据增强操作中选择任意数据增强对原始图像进行m次数据增强时，可以按照nm种方式中的任意一种方式对原始图像进行数据增强操作。
在一种可实施的方式中，目标重定位设备在对原始图像进行数据增强时，先调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，使得原始图像转换为新增图像，第一定位框转换为第二定位框。其中，不同的处理器用于进行不同的数据增强操作；然后对上述至少一个处理器的调用顺序进行编码得到所述新增图像的标志项。
在本申请实施例中，目标重定位设备通过调用不同的处理器来实现不同的数据增强。可见，一个处理器只用于执行一种数据增强，因此通过实施本实施例可以实现对多个原始图像的并行处理，从而提高新增图像的生成以及后续对新增图像中的目标对象的重定位的效率。例如将同一张原始图像复制为多张原始图像，然后多个处理器并行对该多张原始图像进行数据增强，使得在数据增强操作结束之后，同时得到上述原始图像的多张增强图像。此外，由于一个处理器只用于执行一种数据增强，因此目标重定位设备可以通过记录该至少一个处理器的调用顺序，从而确定原始图像进行数据增强操作的顺序，并对该数据增强操作的顺序进行编码，得到上述标志项。
举例来说，有n种可采用的数据增强，且n＝2k。若通过二进制编码来表示上述n种数据增强，则每种数据增强都可以用k位二进制表示。例如，8种数据增强可以用3位二进制编码，分别可以表示为000、001、010、011、100、101、 110、111。按照前述编码方式，新增图像的标志项010011101用于表示原始图像通过依次进行第三种、第四种和第六种数据增强，来得到新增图像。
在一种可实施的方式中，目标重定位设备在调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作时，先将原始图像输入到预设个数的处理器中的任意一个处理器所绑定的待处理队列中，以触发对应的处理器对该原始图像进行数据增强操作得到目标图像；然后对目标图像的标志位进行修改，其中，标志位用于指示目标图像已进行数据增强操作的次数，标志位可以是任意进制的数值；最后若目标图像的标志位小于预设次数，则将该目标图像输入到上述预设个数的处理器中的任意一个处理器的待处理队列中，或者，若目标图像的标志位大于等于预设次数，则将该目标图像输出作为新增图像。
在本申请实施例中，目标重定位设备在调用处理器对原始图像进行处理之前，将原始图像输入到处理器对应的待处理队列中，以触发处理器对待处理队列中的图像进行处理，或者，当处理器处于非空闲状态，则处理器在处理完当前正在处理的任务之后，再获取待处理队列中位于首位的图像，并对该位于首位的图像进行数据增强。目标重定位设备在将原始图像在加入到一个待处理队列并得到目标图像之后，对目标图像的标志位进行修改，即标志位加一。在将目标图像加入到另一个待处理队列之前，确定目标图像的标志位是否大于等于预设次数，若是则将该目标图像输出为新增图像，反之则将目标图像输入下一个处理器的待处理队列中，该下一个处理器可以是上述预设个数的处理器中的任意一个处理器。
202：根据上述标志项对上述原始图像的第一定位框的第一定位点进行换算，得到上述第二定位框的第二定位点。
在本申请实施例中，由于第一定位框的第一定位点在数据增强之后变为了第二定位点，因此为了确定第二定位点的位置，可以按照标志项中记载的数据增强操作的顺序对第一定位点进行换算，从而得到第二定位点坐标。总的来说，本申请通过在第一定位点上重现原始图像所进行的数据增强操作，从而基于已知具体数值的第一定位点，换算得到第二定位点。其中，第一定位点用于指示第一定位框在原始图像上的位置，第二定位点可以用于指示第二定位框在新增图像上的位置。例如第一定位点可以是第一定位框的四个角的顶点和中心点等。
具体的，上述按照标志项中记载的数据增强操作的顺序对第一定位点进行换算指的是：先获取原始图像的第一定位框的第一定位点，以及新增图像的标志项；然后根据新增图像的标志项，依次获取至少一次数据增强操作分别对应的变换参数，对原始图像的第一定位框的第一定位点进行变换，得到第二定位框的第二定位点。
举例来说，获取标志项001010及第一定位框的第一定位点。其中，标志项 001010用于指示原始图像依次通过旋转和缩放来得到新增图像。在对第一定位点进行换算时，获取上述标志所指示的旋转和缩放分别对应的变换参数45°和 2。然后依次按照上述标志所指示的旋转和缩放的顺序，换算第一定位点经过旋转和缩放之后的第二定位点。具体的，先按照余弦定理换算出第一定位点以预设点为旋转中心进行45°旋转之后的目标定位点。然后，对目标定位点的横纵坐标都乘以2，得到第二定位点。其中，预设点可以是原始图像上任意的一个点。预设点可以是原始图像的中心点，也可以是第一定位框的中心点，本申请对此不作限定。
需要说明的是，不是所有的数据增强都会改变原始图像的形状。根据是否会改变图像形状，数据增强可以分为两类。第一类数据增强，会改变图像形状的数据增强。该类数据增强分别对应一个变换参数。例如平移、裁剪、旋转、翻转和缩放等。第二类数据增强，不会改变图像形状的数据增强。该类数据增强都对应一个为空的变换参数。例如对比度变换、颜色变换、噪声扰动和高斯模糊等。因此，当读取到第一类数据增强时，按照该类数据增强分别对应的参数对第一定位点进行换算即可；当读取到第二类数据增强时，不对第一定位点进行换算，或者将第一定位点中的每个坐标的横纵坐标分别乘以数值1。
203：根据上述第二定位框的第二定位点确定上述第二定位框的外切矩形，并将该外切矩形作为上述新增图像的第三定位框。
在本申请实施例中，虽然第一定位框为规则矩形框，但经过数据增强操作之后得到的第二定位框可能不再是规则矩形框。为了得到可以用于对深度网络模型进行训练的规则矩形框，对第二定位框进行规范化得到第三定位框。具体的，根据第二定位框的第二定位点，确定上述第二定位框的外切矩形，并将该外切矩形作为上述新增图像的第三定位框。
举例来说，若第二定位点为第二定位框的四个角的顶点，则获取该四个角的顶点的坐标中的最大横坐标Xmax、最小横坐标Xmin、最大纵坐标Ymax和最小纵坐标Ymin，并组合得到第二定位框的外切矩形的四个角的顶点的坐标(Xmin，Ymin)， (Xmin，Ymax)，(Xmax，Ymax)，(Xmax，Ymin)，该四个角的顶点也即是第三定位点。将前述几个坐标连接起来便得到了第二定位框的外切矩形，并将该第二定位框的外切矩形作为新增图像的第三定位框。
另一个举例，若第二定位点为第二定位框的四个角的顶点及中心点，则获取该四个角的顶点的坐标中的最大横坐标Xmax、最小横坐标Xmin、最大纵坐标Ymax和最小纵坐标Ymin。然后计算Xmax与Xmin之差作为第二定位框的外切矩形的长X，计算Ymax与Ymin之差作为第二定位框的外切矩形的宽Y。由于中心点不变，最后根据中心点、X和Y确定第二定位框的外切矩形的四个角的顶点，也即是第三定位点。将前述外切矩形的四个角的顶点连接起来便得到了第二定位框的外切矩形，并将该第二定位框的外切矩形作为新增图像的第三定位框。
在一种可实施的方式中，得到第一定位框对应的第二定位框之后，对第一定位框的第一定位点进行换算得到第二定位框的第一定位点之前，先确定第一定位框是否与第二定位框重合。若不重合则执行上述对第一定位框的第一定位点进行换算得到第二定位框的第一定位点，若重合则直接将第一定位框或者第二定位框作为新增图像的第三定位框。具体的，将原始图像的第一定位框投影到新增图像上；若第一定位框与第二定位框重合，则将第二定位框作为新增图像的第三定位；若第一定位框与第二定位框不重合，则执行上述根据标志项对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点的步骤。
在本申请实施例中，如果第二定位框与第一定位框重合，则说明第一定位框是规则矩形，则不需要再对第二定位框进行规则化。因此在第二定位框与第一定位框重合的情况下，直接将第一定位框或者第二定位框作为新增图像的第三定位框，否则按照前述步骤202和步骤203所述的方式来确定第二定位框的外切矩形作为新增图像的第三定位框。
在一种可实施的方式中，确定新增图像的第三定位框的第三定位点，若新增图像的第三定位框的第三定位点不在新增图像中，则将新增图像的第三定位框位于在新增图像外的面积作为截断面积；若截断面积大于预设阈值，则清除新增图像以及第三定位框。其中，第三定位点包含一个或多个定位点，前述第三定位点不在新增图像中指的是，第三定位点的部分定位点或者全部定位点不在新增图像中。
在本申请实施例中，根据前述内容，第三定位框的第三定位点在确定第二定位框的外切矩形过程中已经被计算出。因此，获取第三定位框的第三定位点，并确定第三定位点是否在新增图像中。若第三定位框的第三定位点的全部定位点都在新增图像中时，将该第三定位框及新增图像作为用于训练深度网络模型的训练样本。若第三定位点的部分定位点或者全部定位点不在新增图像中时，确定第三定位框位于新增图像外的截断面积。若该截断面积小于等于预设阈值，则将该第三定位框及新增图像作为用于训练深度网络模型的训练样本。若该截断面积大于预设阈值，则清除该第三定位框及新增图像。
在一种可实施的方式中，将上述新增图像和新增图像的第三定位框作为训练样本，并利用训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型；获取测试图像，并利用图像处理模型对测试图像进行分析得到测试图像的定位框；显示测试图像以及测试图像的定位框，并接收针对测试图像的定位框的调整指令，根据调整指令对测试图像的定位框进行调整；将测试图像以及调整之后的定位框分别作为原始图像和原始图像的第一定位框。
在本申请实施例中，将前述过程得到的新增图像和第三定位框作为训练样本对深度网络模型进行训练。训练之后的深度网络模型可以作为用于目标检测的图像处理模型。为了提高该图像处理模型的目标检测的准确度，目标重定位设备利用该图像处理模型对不包含定位框的测试图像进行目标检测，得到测试图像的定位框。在目标重定位设备的显示屏(或者可触摸显示屏)上显示该测试图像及测试图像的定位框，使得技术人员可以对该测试图像的定位框进行人工调整。通过目标重定位设备上的输入设备(可触摸显示屏、键盘和鼠标等) 接收技术人员发送的调整指令。根据该调整指令对测试图像的定位框进行调整(平移和缩放等)。将测试图像及调整之后的定位框作为前述原始图像和原始图像的第一定位框，从而又按照前述内容所描述的目标重定位方法，生成更多的新增图像及新增图像的第三定位框。可见，本申请实施例所描述的方法形成了一个良性的闭环，提高图像处理模型的训练速度。
本申请先对原始图像进行数据增强操作，得到原始图像对应的新增图像，原始图像的第一定位框对应的第二定位框。然后根据数据增强操作的执行顺序，对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点。最后根据第二定位点确定第二定位框的外切矩形，并将该外切矩形作为新增图像的第三定位框。总的来说，本申请通过原始图像的第一定位框，快速重定位到新增图像的第三定位框，提供了一种高效、准确和快速的目标重定位方法，从而实现了数据增强的自动标注。
参见图3，是本申请实施例提供另一种目标重定位方法的示意流程图，如图 3所示目标重定位方法可包括：
301：对包括有第一定位框的原始图像进行数据增强操作，得到原始图像对应的新增图像，第一定位框对应的第二定位框，并生成新增图像的标志项。
在本申请实施例中，目标重定位设备对包括有第一定位框的原始图像进行数据增强操作，得到原始图像对应的新增图像，第一定位框对应的第二定位框。在对原始图像进行数据增强操作的同时，目标重定位设备还会生成用于记录数据增强情况的标志项。
在一种可实施的方式中，目标重定位设备调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，使得原始图像转换为新增图像，第一定位框转换为第二定位框；对至少一个处理器的调用顺序进行编码得到新增图像的标志项。
在本申请实施例中，不同的处理器用于进行不同的数据增强操作，因此目标重定位设备可以通过调用不同的处理器来依次对原始图像进行数据增强，以完成对原始图像的数据增强操作。同时，目标重定位设备还通过记录不同处理器的调用顺序，来确定原始图像所进行的增强操作的顺序，并原始图像所进行的增强操作的顺序进行编码得到新增图像的标志项。
在一种可实施的方式中，目标重定位设备在调用处理器对原始图像进行数据增强操作时，先将原始图像输入到预设个数的处理器中的任意一个处理器所绑定的待处理队列中，以触发对应的处理器对原始图像进行数据增强操作得到目标图像。然后对目标图像的标志位进行修改，标志位用于指示目标图像已进行数据增强操作的次数。若目标图像的标志位小于预设次数，则将目标图像输入到预设个数的处理器中的任意一个处理器的待处理队列中；若目标图像的标志位大于等于预设次数，则将目标图像输出作为新增图像。
在本申请实施例中，目标重定位设备只要将原始图像输入到处理器的待处理队列中，便可以触发对应的处理器对原始图像进行处理。如果处理器正在处理其他任务，则处理器会在处理完正在处理的任务，再到对应的待处理队列中按照队列顺序获取待处理的图像并进行处理。为了使得新增图像与原始图像有较大的区别，目标重定位设备预先设定原始图像需要进行数据增强的最少次数 (即预设次数)，并通过标志位来记录原始图像已进行的数据增强的次数。当标志位小于预设次数时，继续进行数据增强；当标志位等于大于预设次数时，可以停止数据增强。其中，预设次数可以是任意数值，本申请实施例对此不做限定。
302：将原始图像的第一定位框投影到新增图像上。
303：若第一定位框与第二定位框重合，则将第二定位框作为新增图像的第三定位框。
304：若第一定位框与第二定位框不重合,则根据上述标志项对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点。
305：根据上述第二定位框的第二定位点确定上述第二定位框的外切矩形，并将该外切矩形作为上述新增图像的第三定位框。
在本申请实施例中，若第一定位框与第二定位框重合，则表示第二定位框与第一定位框都是规则矩形框，因此可以将第二定位框直接作为用于指示新增图像中的目标对象的位置的第三定位框。若第一定位框与第二定位框不重合，则按照标志项对原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点，然后根据第二定位点确定第二定位框的外切矩形，并将该外切矩形作为新增图像的第三定位框。具体的，在确定第二定位点时，目标重定位框先获取原始图像的第一定位框的第一定位点，以及新增图像的标志项。然后根据新增图像的标志项，依次获取至少一次数据增强操作分别对应的变换参数，对原始图像的第一定位框的第一定位点进行变换，得到第二定位框的第二定位点。
306：确定新增图像的第三定位框位于在新增图像外的面积，并将该面积作为截断面积。
在本申请实施例中，确定新增图像的第三定位框的第三定位点，例如第三定位框的四个顶点。若新增图像的第三定位框的第三定位点不在新增图像中，则将新增图像的第三定位框位于在新增图像外的面积作为截断面积。
307：若截断面积大于预设阈值，则清除新增图像以及第三定位框。
在本申请实施例中，截断面积大于预设阈值，表示第三定位框超出新增图像所在的位置的区域过大。在该种情况下，通过前述步骤获得新增图像以及该新增图像的第三定位框不是较为优质的训练样本，因此将该新增图像以及该新增图像的第三定位框从本地的存储器中清除。
308：若截断面积小于等于预设阈值，则将新增图像和新增图像的第三定位框作为训练样本，并利用该训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型。
在本申请实施例中，若截断面积小于等于预设阈值，则表示第三定位框超出新增图像所在的位置的区域在合理范围内。在该种情况下，通过前述步骤获得新增图像以及该新增图像的第三定位框是较为优质的训练样本，因此将该新增图像以及该新增图像的第三定位框作为训练样本，用以对深度网络模型进行训练。具体的，目标重定位设备将新增图像和新增图像的第三定位框作为训练样本，并利用训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型；获取测试图像，并利用图像处理模型对测试图像进行分析得到测试图像的定位框；显示测试图像以及测试图像的定位框，并接收针对测试图像的定位框的调整指令，根据调整指令对测试图像的定位框进行调整；将测试图像以及调整之后的定位框分别作为原始图像和原始图像的第一定位框。
在本申请实施例中，目标重定位设备在对原始图像进行数据增强操作得到新增图像之后，不仅可以快速定位到新增图像中的目标对象的位置，还可以将符合条件的新增图像以及新增图像的第三定位框作为训练样本，以对深度网络模型进行训练得到用于目标检测的图像处理模型。图像处理模型可以对测试图像进行处理，得到测试图像的定位框。经过人工调整之后，测试图像又可以作为新的原始图像。可见，按照前述内容所描述的目标重定位方法，新的原始图像可以生成更多的新增图像，从而生成更多的训练样本。总的来说，本申请实施例所描述的方法形成了一个良性的闭环，不仅提高了目标重定位的效率，还提高图像处理模型的训练速度。
需要说明的是，上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本申请实施例还提供一种目标重定位设备，该目标重定位设备用于执行前述任一项的目标重定位方法的单元。具体地，参见图4，是本申请实施例提供的一种目标重定位设备的示意框图。本实施例的目标重定位设备包括：增强单元410、换算单元420和重定位单元430。具体的：
增强单元410，用于对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作的执行顺序；
换算单元420，用于根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；
重定位单元430，用于根据所述第二定位框的第二定位点确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置。
在一种可实施的方式中，所述换算单元420，具体用于：获取所述原始图像的第一定位框的第一定位点，以及所述新增图像的标志项；根据所述新增图像的标志项，依次获取所述至少一次数据增强操作分别对应的变换参数，对所述原始图像的第一定位框的第一定位点进行变换，得到所述第二定位框的第二定位点。
在一种可实施的方式中，所述目标重定位设备还包括投影单元440，所述投影单元440用于：将所述原始图像的第一定位框投影到所述新增图像上；若所述第一定位框与所述第二定位框不重合，则执行所述根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点的步骤；若所述第一定位框与所述第二定位框重合，则将所述第二定位框作为所述新增图像的第三定位框。
在一种可实施的方式中，所述目标重定位设备还包括筛选单元450，所述筛选单元450用于：确定所述新增图像的第三定位框的第三定位点；若所述新增图像的第三定位框的第三定位点不在所述新增图像中，则将所述新增图像的第三定位框位于在所述新增图像外的面积作为截断面积；若所述截断面积大于预设阈值，则清除所述新增图像以及所述第三定位框。
在一种可实施的方式中，所述目标重定位设备还包括训练单元460，所述训练单元450用于：将所述新增图像和所述新增图像的第三定位框作为训练样本，并利用所述训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型；获取测试图像，并利用所述图像处理模型对所述测试图像进行分析得到所述测试图像的定位框；显示所述测试图像以及所述测试图像的定位框，并接收针对所述测试图像的定位框的调整指令，根据所述调整指令对所述测试图像的定位框进行调整；将所述测试图像以及调整之后的定位框分别作为所述原始图像和所述原始图像的第一定位框。
在一种可实施的方式中，所述增强单元410，具体用于：调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，使得所述原始图像转换为新增图像，所述第一定位框转换为第二定位框，其中，不同的处理器用于进行不同的数据增强操作；对所述至少一个处理器的调用顺序进行编码得到所述新增图像的标志项。
在一种可实施的方式中，所述增强单元410，具体用于：将原始图像输入到预设个数的处理器中的任意一个处理器所绑定的待处理队列中，以触发对应的处理器对所述原始图像进行数据增强操作得到目标图像；对所述目标图像的标志位进行修改，所述标志位用于指示所述目标图像已进行数据增强操作的次数；若所述目标图像的标志位小于预设次数，则将所述目标图像输入到所述预设个数的处理器中的任意一个处理器的待处理队列中；若所述目标图像的标志位大于等于预设次数，则将所述目标图像输出作为所述新增图像。
需要说明的是，本发明实施例的目标重定位设备的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
参见图5，是本申请另一实施例提供的一种目标重定位设备示意框图。如图所示的本实施例中的目标重定位设备可以包括：处理器510和存储器520。上述处理器510和存储器520通过总线530连接。具体的：
所述处理器510，用于执行增强单元410的功能，用于对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作的执行顺序；还用于执行换算单元420的功能，用于根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；还用于执行重定位单元430的功能，用于根据所述第二定位框的第二定位点确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置。
在一种可实施的方式中，所述处理器510，具体用于：获取所述原始图像的第一定位框的第一定位点，以及所述新增图像的标志项；根据所述新增图像的标志项，依次获取所述至少一次数据增强操作分别对应的变换参数，对所述原始图像的第一定位框的第一定位点进行变换，得到所述第二定位框的第二定位点。
在一种可实施的方式中，所述处理器510，还用于执行投影单元440的功能，用于：将所述原始图像的第一定位框投影到所述新增图像上；若所述第一定位框与所述第二定位框不重合，则执行所述根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点的步骤；若所述第一定位框与所述第二定位框重合，则将所述第二定位框作为所述新增图像的第三定位框。
在一种可实施的方式中，所述处理器510，还用于执行筛选单元450的功能，用于：确定所述新增图像的第三定位框的第三定位点；若所述新增图像的第三定位框的第三定位点不在所述新增图像中，则将所述新增图像的第三定位框位于在所述新增图像外的面积作为截断面积；若所述截断面积大于预设阈值，则清除所述新增图像以及所述第三定位框。
在一种可实施的方式中，所述处理器510，还用于执行训练单元460，用于：将所述新增图像和所述新增图像的第三定位框作为训练样本，并利用所述训练样本对深度网络模型进行训练，得到用于目标检测的图像处理模型；获取测试图像，并利用所述图像处理模型对所述测试图像进行分析得到所述测试图像的定位框；显示所述测试图像以及所述测试图像的定位框，并接收针对所述测试图像的定位框的调整指令，根据所述调整指令对所述测试图像的定位框进行调整；将所述测试图像以及调整之后的定位框分别作为所述原始图像和所述原始图像的第一定位框。
在一种可实施的方式中，所述处理器510，具体用于：调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，使得所述原始图像转换为新增图像，所述第一定位框转换为第二定位框，其中，不同的处理器用于进行不同的数据增强操作；对所述至少一个处理器的调用顺序进行编码得到所述新增图像的标志项。
在一种可实施的方式中，所述处理器510，具体用于：将原始图像输入到预设个数的处理器中的任意一个处理器所绑定的待处理队列中，以触发对应的处理器对所述原始图像进行数据增强操作得到目标图像；对所述目标图像的标志位进行修改，所述标志位用于指示所述目标图像已进行数据增强操作的次数；若所述目标图像的标志位小于预设次数，则将所述目标图像输入到所述预设个数的处理器中的任意一个处理器的待处理队列中；若所述目标图像的标志位大于等于预设次数，则将所述目标图像输出作为所述新增图像。
应当理解，在本申请实施例中，所称处理器510可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器510还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器520可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器520的一部分还可以包括非易失性随机存取存储器。例如，存储器520还可以存储设备类型的信息。
计算机可读存储介质可以是前述任一实施例的目标重定位设备的内部存储单元，例如目标重定位设备的硬盘或内存。计算机可读存储介质也可以是目标重定位设备的外部存储设备，例如目标重定位设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡 (Flash Card)等。进一步地，计算机可读存储介质还可以既包括目标重定位设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及目标重定位设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
具体实现中，本申请实施例中所描述的处理器510可执行本申请实施例提供的目标重定位方法的第二实施例和第三实施例中所描述的实现方式，也可执行本申请实施例所描述的目标重定位设备的实现方式，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同目标重定位方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的目标重定位设备和单元的具体工作过程，可以参考前述目标重定位方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的目标重定位设备和目标重定位方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，目标重定位设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (8)
1.一种目标重定位方法，其特征在于，包括：
对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作包括的至少一种数据操作和所述至少一种数据操作的执行顺序；
根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；
若所述第二定位点为所述第二定位框的四个角的顶点，则根据所述四个角的顶点的坐标中最大横坐标、最小横坐标、最大纵坐标和最小纵坐标进行组合确定所述第二定位框的外切矩形，若所述第二定位点为所述第二定位框的四个角的顶点及中心点，则根据所述四个角的顶点的坐标中最大横坐标与最小横坐标之差、最大纵坐标和最小纵坐标之差，以及所述中心点，确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置；
确定所述新增图像的第三定位框的第三定位点，若所述新增图像的第三定位框的第三定位点不在所述新增图像中，则将所述新增图像的第三定位框位于在所述新增图像外的面积作为截断面积，判断所述截断面积是否大于预设阈值，若是则清除所述新增图像以及所述第三定位框，若否则将所述第三定位框及所述新增图像作为训练深度网络模型的训练样本；
利用所述训练样本对所述深度网络模型进行训练，得到用于目标检测的图像处理模型，获取测试图像，利用所述图像处理模型对所述测试图像进行分析得到所述测试图像的定位框，显示所述测试图像以及所述测试图像的定位框，并接收针对所述测试图像的定位框的调整指令，根据所述调整指令对所述测试图像的定位框进行调整，将所述测试图像以及调整之后的定位框分别作为所述原始图像和所述原始图像的第一定位框。
2.根据权利要求1所述的方法，其特征在于，所述根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点，包括：
获取所述原始图像的第一定位框的第一定位点，以及所述新增图像的标志项；
根据所述新增图像的标志项，依次获取所述至少一次数据增强操作分别对应的变换参数，对所述原始图像的第一定位框的第一定位点进行变换，得到所述第二定位框的第二定位点。
3.根据权利要求1所述的方法，其特征在于，所述对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项之后，所述根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点之前，还包括：
将所述原始图像的第一定位框投影到所述新增图像上；
若所述第一定位框与所述第二定位框不重合，则执行所述根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点的步骤；
若所述第一定位框与所述第二定位框重合，则将所述第二定位框作为所述新增图像的第三定位框。
4.根据权利要求1所述的方法，其特征在于，所述对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，包括：
调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，使得所述原始图像转换为新增图像，所述第一定位框转换为第二定位框，其中，不同的处理器用于进行不同的数据增强操作；
对所述至少一个处理器的调用顺序进行编码得到所述新增图像的标志项。
5.根据权利要求4所述的方法，其特征在于，所述调用至少一个处理器依次对包括有第一定位框的原始图像进行数据增强操作，包括：
将原始图像输入到预设个数的处理器中的任意一个处理器所绑定的待处理队列中，以触发对应的处理器对所述原始图像进行数据增强操作得到目标图像；
对所述目标图像的标志位进行修改，所述标志位用于指示所述目标图像已进行数据增强操作的次数；
若所述目标图像的标志位小于预设次数，则将所述目标图像输入到所述预设个数的处理器中的任意一个处理器的待处理队列中；
若所述目标图像的标志位大于等于预设次数，则将所述目标图像输出作为所述新增图像。
6.一种目标重定位设备，其特征在于，包括：
增强单元，用于对包括有第一定位框的原始图像进行数据增强操作，得到所述原始图像对应的新增图像，所述第一定位框对应的第二定位框，并生成所述新增图像的标志项，所述第一定位框用于指示所述原始图像中的目标对象的位置，所述标志项用于指示所述数据增强操作包括的至少一种数据操作和所述至少一种数据操作的执行顺序；
换算单元，用于根据所述标志项对所述原始图像的第一定位框的第一定位点进行换算，得到第二定位框的第二定位点；
重定位单元，若所述第二定位点为所述第二定位框的四个角的顶点，则根据所述四个角的顶点的坐标中最大横坐标、最小横坐标、最大纵坐标和最小纵坐标进行组合确定所述第二定位框的外切矩形，若所述第二定位点为所述第二定位框的四个角的顶点及中心点，则根据所述四个角的顶点的坐标中最大横坐标与最小横坐标之差、最大纵坐标和最小纵坐标之差，以及所述中心点，确定所述第二定位框的外切矩形，并将所述外切矩形作为所述新增图像的第三定位框，所述第三定位框用于指示所述目标对象在所述新增图像中的位置；
筛选单元，用于确定所述新增图像的第三定位框的第三定位点，若所述新增图像的第三定位框的第三定位点不在所述新增图像中，则将所述新增图像的第三定位框位于在所述新增图像外的面积作为截断面积，判断所述截断面积是否大于预设阈值，若是则清除所述新增图像以及所述第三定位框，若否则将所述第三定位框及所述新增图像作为训练深度网络模型的训练样本；
训练单元，用于利用所述训练样本对所述深度网络模型进行训练，得到用于目标检测的图像处理模型，获取测试图像，利用所述图像处理模型对所述测试图像进行分析得到所述测试图像的定位框，显示所述测试图像以及所述测试图像的定位框，并接收针对所述测试图像的定位框的调整指令，根据所述调整指令对所述测试图像的定位框进行调整，将所述测试图像以及调整之后的定位框分别作为所述原始图像和所述原始图像的第一定位框。
7.一种目标重定位设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010145839.XA CN111383267B (zh) | 2020-03-03 | 2020-03-03 | 一种目标重定位方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010145839.XA CN111383267B (zh) | 2020-03-03 | 2020-03-03 | 一种目标重定位方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383267A CN111383267A (zh) | 2020-07-07 |
| CN111383267B true CN111383267B (zh) | 2024-04-05 |
Family
ID=71218667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010145839.XA Active CN111383267B (zh) | 2020-03-03 | 2020-03-03 | 一种目标重定位方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383267B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971662A (zh) * | 2021-10-26 | 2022-01-25 | 深圳市创客工场科技有限公司 | 加工控制方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230233A (zh) * | 2017-05-16 | 2018-06-29 | 北京市商汤科技开发有限公司 | 数据增强、处理方法和装置、电子设备和计算机存储介质 |
| CN108573279A (zh) * | 2018-03-19 | 2018-09-25 | 精锐视觉智能科技（深圳）有限公司 | 图像标注方法及终端设备 |
| CN108833784A (zh) * | 2018-06-26 | 2018-11-16 | Oppo（重庆）智能科技有限公司 | 一种自适应构图方法、移动终端及计算机可读存储介质 |
| CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
| CN109063748A (zh) * | 2018-07-16 | 2018-12-21 | 重庆大学 | 基于数据增强的目标检测方法 |
| CN109614983A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 训练数据的生成方法、装置及系统 |
| CN110059548A (zh) * | 2019-03-08 | 2019-07-26 | 北京旷视科技有限公司 | 目标检测方法及装置 |
| CN110135522A (zh) * | 2019-05-28 | 2019-08-16 | 金陵科技学院 | 一种检测与标注遥感图像小目标一体化的智能方法 |
| CN110210328A (zh) * | 2019-05-13 | 2019-09-06 | 北京三快在线科技有限公司 | 在图像序列中标注物体的方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
| GB2583676B (en) * | 2018-01-18 | 2023-03-29 | Gumgum Inc | Augmenting detected regions in image or video data |
-
2020
- 2020-03-03 CN CN202010145839.XA patent/CN111383267B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230233A (zh) * | 2017-05-16 | 2018-06-29 | 北京市商汤科技开发有限公司 | 数据增强、处理方法和装置、电子设备和计算机存储介质 |
| CN108573279A (zh) * | 2018-03-19 | 2018-09-25 | 精锐视觉智能科技（深圳）有限公司 | 图像标注方法及终端设备 |
| CN108833784A (zh) * | 2018-06-26 | 2018-11-16 | Oppo（重庆）智能科技有限公司 | 一种自适应构图方法、移动终端及计算机可读存储介质 |
| CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
| CN109063748A (zh) * | 2018-07-16 | 2018-12-21 | 重庆大学 | 基于数据增强的目标检测方法 |
| CN109614983A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 训练数据的生成方法、装置及系统 |
| CN110059548A (zh) * | 2019-03-08 | 2019-07-26 | 北京旷视科技有限公司 | 目标检测方法及装置 |
| CN110210328A (zh) * | 2019-05-13 | 2019-09-06 | 北京三快在线科技有限公司 | 在图像序列中标注物体的方法、装置及电子设备 |
| CN110135522A (zh) * | 2019-05-28 | 2019-08-16 | 金陵科技学院 | 一种检测与标注遥感图像小目标一体化的智能方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Simple Method on Generating Synthetic Data for Training Real-time Object Detection Networks;Jungwoo Huh;2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC);20190307;全文 * |
| 基于无监督K均值特征和数据增强的SAR图像目标识别方法;刘凯品;应自炉;翟懿奎;;信号处理;20170325(第03期);全文 * |
| 张磊 等.遥感图像目标检测的数据增广研究.测绘科学技术学报.2019,36(第05期),505-510. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383267A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543489B (zh) | 基于二维码的定位方法、装置和存储介质 | |
| US7991233B2 (en) | Method and apparatus for dynamic connector analysis | |
| JP5015540B2 (ja) | 電子透かし埋め込み装置および検出装置 | |
| CN110443250A (zh) | 一种合同印章的类别识别方法、装置和计算设备 | |
| WO2021129146A1 (zh) | 一种图片中隐私信息保护的处理方法及装置 | |
| US20230008085A1 (en) | Method for embedding watermark in video data and apparatus, method for extracting watermark in video data and apparatus, device, and storage medium | |
| CN105069754B (zh) | 基于在图像上无标记增强现实的系统和方法 | |
| US9491472B2 (en) | Guided image upsampling using bitmap tracing | |
| US9842416B2 (en) | Animated painterly picture generation | |
| CN110163831B (zh) | 三维虚拟沙盘的物体动态展示方法、装置及终端设备 | |
| JP2009295134A (ja) | 二次元コード、そのデコード装置及び方法 | |
| TW200842760A (en) | Efficient scissoring for graphiics application | |
| CN111932451B (zh) | 重定位效果的评价方法、装置、电子设备和存储介质 | |
| CN110619334B (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| CN110569379A (zh) | 一种汽车配件图片数据集制作方法 | |
| CN113257259A (zh) | 基于神经网络的安全音频水印加注 | |
| CN111383267B (zh) | 一种目标重定位方法、设备及存储介质 | |
| CN110766068B (zh) | 一种验证码识别方法及计算设备 | |
| TW201248506A (en) | Two-dimentional optical indetification device with same gray level for quickly decoding and method for decoding the same | |
| CN110363837B (zh) | 游戏中纹理图像的处理方法及装置、电子设备、存储介质 | |
| US9767582B2 (en) | Painterly picture generation | |
| CN112149745B (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
| US20210383527A1 (en) | Automated artifact detection | |
| US10542176B2 (en) | Enhancing graph visualization with supplemental data | |
| JP2010028429A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |