CN111814885A - 一种管理图像框的方法、系统、设备及介质 - Google Patents

Abstract

本发明提供一种管理图像框的方法、系统、设备及介质，通过对图片中的目标对象进行预标注，获取预标注后的图像框；根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；并修改存在错误标注的图像框。其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框。本发明先通过预设算法对图像中的目标对象进行预标注，得到多个图像框；再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。本发明可以提高图像检测算法在安防、智能交通等领域的准确率。

Description

一种管理图像框的方法、系统、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种管理图像框的方法、系统、设备及介质。

背景技术

图像检测技术的应用场景很多，例如可以将其应用在安防、智能交通等领域来检测单个目标、多类目标；例如检测具有层次关系的多类目标、存在关联的目标。为了让图像检测算法能够检测单个目标、多个目标，就需要对训练图像进行标注。由于图像数据量较大，仅采用人工标注效率低，成本高，不适合对大量图像数据进行标注。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种管理图像框的方法、系统、设备及介质，先通过预设算法对图像数据进行预标注，再在预标注的基础上对存在错误标注的图像框进行纠正，完成所有图像数据的标注，解决现有技术中存在的问题。

为实现上述目的及其他相关目的，本发明提供一种管理图像框的方法，包括有：

对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改存在错误标注的图像框。

可选地，将某一图像框作为父级图像框，从属于所述父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。

可选地，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，若将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则预标注后的图像框存在错误标注。

可选地，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。

可选地，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过所述动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。

可选地，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过所述动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。

可选地，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框；

若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。

可选地，还包括拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

可选地，还包括：

将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，

将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

可选地，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜，则标注后的图像框存在侵入框。

可选地，所述目标对象包括以下至少之一：人体、人头、人脸；

所述图像框包括以下至少之一：人体框、人头框、人脸框。

可选地，还包括：

将人体框作为父级图像框，人头框作为子级图像框，建立所述人体框与所述人头框的从属关系；和/或，

将人头框作为父级图像框，人脸框作为子级图像框，建立所述人头框与所述人脸框的从属关系。

可选地，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。

可选地，所述预设顺序根据以下至少之一的参数进行设置：

人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。

可选地，所述目标对象包括以下至少之一：车牌、车窗、车门、车轮；

所述图像框包括以下至少之一：车牌框、车窗框、车门框、车轮框。

本发明还提供一种管理图像框的系统，包括有：

标注模块，用于对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

识别模块，用于根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改模块，用于修改存在错误标注的图像框。

可选地，将某一图像框作为父级图像框，从属于所述父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。

可选地，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，若将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则预标注后的图像框存在错误标注。

可选地，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。

可选地，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过所述动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。

可选地，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过所述动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。

可选地，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框；

若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。

可选地，还包括拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

可选地，还包括：

将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，

将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

可选地，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜，则标注后的图像框存在侵入框。

可选地，所述目标对象包括以下至少之一：人体、人头、人脸；

所述图像框包括以下至少之一：人体框、人头框、人脸框。

可选地，还包括：

将人体框作为父级图像框，人头框作为子级图像框，建立所述人体框与所述人头框的从属关系；和/或，

将人头框作为父级图像框，人脸框作为子级图像框，建立所述人头框与所述人脸框的从属关系。

可选地，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。

可选地，所述预设顺序根据以下至少之一的参数进行设置：

人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。

可选地，所述目标对象包括以下至少之一：车牌、车窗、车门、车轮；

所述图像框包括以下至少之一：车牌框、车窗框、车门框、车轮框。

本发明还提供一种管理图像框的设备，包括有：

对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改存在错误标注的图像框。

本发明还提供一种设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供一种管理图像框的方法、系统、设备及介质，具有以下有益效果：通过对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；并修改存在错误标注的图像框。其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框。本发明对于从安防、智能交通等领域获得的大量图像，先通过预设算法对图像中的目标对象进行预标注，得到多个图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。但是，通过预设算法对图像中的目标对象进行预标注，可能会存在被标注错误的图像框；所以本发明再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。同时，基于对图像中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

附图说明

图1为一实施例提供的管理图像框的方法流程示意图；

图2为一实施例提供的管理图像框的系统的硬件结构示意图；

图3为一实施例提供的超框示意图；

图4为另一实施例提供的超框示意图；

图5为一实施例提供的侵入框示意图；

图6为一实施例提供的终端设备的硬件结构示意图；

图7为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 标注模块

M20 识别模块

M30 修改模块

10 人员X的人头框

20 人员X的人体框

30 人员X的人脸框

40 保护膜层

200 人员Y的人体框

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种管理图像框的方法，包括有：

S100，对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

S200，根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框；

S300，修改存在错误标注的图像框。

本方法对于从安防、智能交通等领域获得的大量图像，先通过预设算法对图像中的目标对象进行预标注，得到多个图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。但是，通过预设算法对图像中的目标对象进行预标注，可能会存在被标注错误的图像框；所以本方法再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。同时，基于对图像中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

在一示例性实施例中，可以将某一图像框作为父级图像框，从属于该父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。在本发明中，图像数据存储可以是基于树的结构，图像框的从属关系具有唯一性；即子级图像框是父级图像框的子节点，父级图像框包括子级图像框。作为示例，本申请实施例中的目标对象包括以下至少之一：人体、人头、人脸；图像框包括以下至少之一：人体框、人头框、人脸框。例如，将人体框作为父级图像框，人头框作为子级图像框，建立人体框与人头框的从属关系；和/或，将人头框作为父级图像框，人脸框作为子级图像框，建立人头框与人脸框的从属关系。本申请实施例中，若将人体框作为父级图像框，人头框作为子级图像框的同时再将人脸框作为人头框的子级图像框，则人体框、人头框、人脸框之间形成祖孙关联；即人体框和人头框是父子从属关系，人头框与人脸框是父子从属关系。在本申请实施例中，人体框、人头框、人脸框之间的从属关系唯一，人头框是人体框的子节点、人脸框是人头框的子节点；同一个人员的人体框不会有两个人头框作为子节点，同一个人员的人头框也不会有两个人脸框作为子节点。在本申请实施例中，为了表示人体框、人头框、人脸框之间的唯一性，可以将同一人员的人体框、人头框、人脸框设置为同一个编号。其中，编号的设定根据图像画面中的人员进行设置，本申请不做具体的数值限制。例如，可以将某一帧图像画面中某个人员对应的人体框、人头框、人脸框的编号设置为34。

根据上述记载，在一示例性实施例中，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于对应的父级图像框；则预标注后的图像框存在错误标注。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，即将该人员的人头框标注为不属于该人员的人体框的子节点，使该人员的人头框没有与该人员的人体框进行关联；或者，将其他人员的人头框标注为属于该人员的人体框，即将其他人员的人头框标注为属于该人员的人体框，使其他人员的人头框与该人员的人体框进行了关联；则认为预标注后的图像框存在错误标注。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，即将该人员的人脸框标注为不属于该人员的人头框的子节点，使该人员的人脸框没有与该人员的人头框进行关联；或者，将其他人员的人脸框标注为属于该人员的人头框，即将其他人员的人脸框标注为属于该人员的人头框，使其他人员的人脸框与该人员的人头框进行了关联；则认为预标注后的图像框存在错误标注。

根据上述记载，在一示例性实施例中，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，则可以通过划线关联法修改这种错误标注。具体地，以人体框内的任意位置为起点，画一条直线或曲线穿过对应的人头框，通过预设的算法自动将该人员的人体框和人头框关联，从而修改这种错误标注。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，则可以通过划线关联法修改这种错误标注。具体地，以人头框内的任意位置为起点，画一条直线或曲线穿过对应的人脸框，通过预设的算法自动将该人员的人头框和人脸框关联，从而修改这种错误标注。作为另一示例，本申请还可以对多级目标对象进行一次性划线串联，完成这多级目标对象的关联。例如，若要将某一人员的人体框、人头框、人脸框进行关联，修改对应的错误标注；则以人体框内的任意位置为起点，画一条直线或曲线依次穿过对应的人头框、人脸框，通过预设的算法自动将该人员的人体框、人头框和人脸框进行关联。同时，如果该人员的人头框在关联之前已经与其他人员的人体框进行了关联，和/或，该人员的人脸框在关联之前已经与其他人员的人头框进行了关联；则会自动断开原来的从属关系，并自动重新分配编号。通过划线关联法来修改错误标注，能够重新快速地创建新的关联，建立新的从属全系，并且能够同时将人体、人头、人脸这种多级目标对象进行关联。

根据上述记载，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；可以通过划线关联法来修改标注。但是，划线关联法在部分情况下会失效，例如多个图像框高度重叠在一起时，可能导致某个图像框永远没法被直接选中；所以，本发明还提供连线关联法来修改错误标注。具体地，在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；将移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。本申请实施例将图像框(包括人体框、人头框、人脸框)的左上顶点作为关键点。作为示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人体框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人体框之间建立一条动态直线，再通过鼠标将移动光标移动至人头框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人头框，此时通过动态直线来创建该人员的人体框、人头框之间的关联，并对该人员的人体框、人头框使用相同的编号。作为另一示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人头框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人头框之间建立一条动态直线，再通过鼠标将移动光标移动至人脸框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人脸框，此时通过动态直线来创建该人员的人头框、人脸框之间的关联，并对该人员的人头框、人脸框使用相同的编号。

在一示例性实施例中，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；将移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。作为示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人体框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人体框之间建立一条动态直线，再通过鼠标将移动光标移动至人头框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人头框，此时通过动态直线来删除该人员的人体框、人头框之间的关联。若该人员的人体框还关联有其他人员的人头框，则自动断开其他人员的人头框，且其他人员的人头框进行自动编号。作为另一示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人头框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人头框之间建立一条动态直线，再通过鼠标将移动光标移动至人脸框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人脸框，此时通过动态直线来删除该人员的人头框、人脸框之间的关联。若该人员的人头框还关联有其他人员的人脸框，则自动断开其他人员的人脸框，且为其他人员的人脸框分配新的编号。

根据上述记载，在一示例性实施例中，按照图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框。若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。作为示例，如图3所示，若人员X的人头框10与对应的人体框20标注正确，但其人头框10的框形区域不完全位于人体框的框形区域20内，且该人头框10的顶点与对应的人体框20之间连接有虚线，则认为预标注后的图像框存在超框。作为另一示例，如图4所示，若人员X的人脸框30与对应的人头框10标注正确，但其人脸框30的框形区域不完全位于人头框的框形区域10内，且该人脸框30的顶点与对应的人头框10之间连接有虚线，则认为预标注后的图像框存在超框。本申请实施例可以通过拖顶点法修改超框，具体地，通过移动鼠标将移动光标移动至父级图像框或子级图像框的关键点附近，按住鼠标左键直接拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。而传统方法一般需要先选中对应的父级图像框或子级图像框，然后再拖动其顶点，这多出来的一个步骤会比较浪费时间。与传统方法相比，本申请能够减少一个操作步骤，也能够节约对应的时间。

本申请实施例中，当一个图像框被选中时(例如长按鼠标左键300ms选中图像框)，后续的添加图像框和点的操作都被视作是作为这个图像框的子节点而添加的。如果添加的是未命名的框，且该目标对象只定义了唯一一种子图像框类型(比如人体框的子节点中唯一定义了人头框、人头框的子节点中唯一定义了人脸框)，那么这个新添加的未命名框会被自动命名；如果添加的是未命名的点，那么这个点称为锚点。若刚添加时，该点处于选定状态，此时其类型可编辑，则该点不是锚点。在按写空格键后，取消其选定状态，该点就变成锚点了。如果图像框的子节点中没有定义除顶点外的其他点状图像框，那么这个点自诞生起就自动认为是锚点了。

根据上述记载，本申请实施例还可以通过锚点法修改超框。例如将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。具体地，当锚点位于图像框的外部时，按下鼠标左键，发出第三按键指令，响应第三按键指定，直接将图像框对应的边扩展到该点处。当锚点位于图像框的内部，则只能选择其中一条边收缩至该锚点处，具体是那条边，选择面积损失最小的那条边。如果同时按住上下左右四个快捷键中的一个，则是指定上下左右某条边收缩至该锚点处。一般情况下，用锚点法修改框形比拖顶点法修改框形更加高效；且在操作密集型的框标注/修改任务中，锚点法比托顶点法更具有优势。

根据上述记载，在一示例性实施例中，按照图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜层，则标注后的图像框存在侵入框。作为示例，如图5所示，人员X的人头框10的框形区域完全位于人员Y的人体框200的框形区域内，且两个图像框的接触面呈现有保护膜层40。本申请实施例中，当不属于某个人体框的人头框进入到该人体框的框形区域内，会在人体框与人头框的接触边外围附上一层显眼的“接触层”。这个设计模拟了细胞被微生物入侵时，会在与微生物的接触面上形成一层蛋白质保护外膜的免疫反应过程。它能直观的反映出被包裹的那个头框不属于下面的那个人体框，是“外来物”，“入侵物”。

根据上述记载，本方法通过超框和侵入框来突出预标注后出现异常的图像框。由于我们对错误标注的修改是始于预标注后的数据，既然是预标注的数据，那么绝大多数标注都是正确的。对于这些正常的多级框之间的关联关系，即人头框属于人体框、人脸框属于人头框情况，本申请认为没有必要做任何额外的信息展示，只是对那些可能出现异常的情况进行展示：例如人头框属于人体框，但人头框并不完全位于人体框内；人头框不属于该人体框，但人头框部分重叠于该人体框。同时，当存在多个子节点类型框时，比如人体框下包含人头框、头肩框、躯干框、手框等，或者车框下包含车牌框、车窗框、车门框、车轮框等时，不恰当的从属关系描述方法，会使整个标签描述界面的视觉干扰呈爆炸式增长。所以需要减少视觉干扰，降低疲劳；以及提高鉴别效率。对于一幅有着数十上百个人的图像场景来说，本申请不必逐个核对每组目标框之间的从属关系是否正确，可以快速排除绝大多数标注正常的信息，直接定位到异常图像框，再对异常图像框做进一步辨别。则可以用超框表现法和侵入框表现法来分别描述，这样极大的减少了整幅图的实际信息描述量，减少了信息冗余，也就减少的信息干扰；甚至于也不再需要显示框的标号。

根据上述记载，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。比如在某些场景中，人体框A、B、C相互重叠严重，某个人头框a属于人体框A，它与A的接触面未出现保护膜层，但它与人体框B、C的接触面都出现保护膜层，这在视觉效果上仍然是混乱的，难以直观判断a到底属于人体A、B、C中的哪一个。但是，在本申请实施例中，只有在父级图像框之间无重叠的时候，子级图像框与不同父级图像框的接触面才不会重叠，才能有效的使用侵入框表现法。本申请实施例中，人体框由于范围大，形变大，是最容易发生重叠的，只需要对人体框做无交叉显示处理。其中，无交叉显示，就是将图像场景中的相互有交叉的父级图像框，安排在不同的轮次显示出来，保证单次显示的图像框中，没有重叠现象。

其中，预设顺序根据以下至少之一的参数进行设置：人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。作为示例，将人体框按面积从大到小排序，然后从前往后开始搜索，如果当前框与当前队列中的框均无重叠，就将当前框加入当前队列，这样完整搜索一遍后，将当前队列中的人体框全部显示出来。那些没有被显示的人体框，会在下一轮继续进行相同的筛选，直到所有的人体框都被显示为止，最终需要显示的轮数就是无交叉显示轮数。本申请实施例中，对于子节点框(例如人头框)，在第一轮显示中，可以一次性全部显示。这样就可以判断所有的人头框与本轮显示的人体框之间的从属关系是否正确。如果某个人头框正确的属于当前显示的某个人体框，则它会随着这个人体框一起，不再显示于以后的轮次。如果存在错误标注，则修改错误标注，并将未关联上的图像框关联起来，将错误的关联断开。那些被关联后的人头框也不会在下一轮被显示，只有那些在该轮没有相应匹配人体框的人头框，会继续留到下一轮，等待被人体框配对领取。本申请通过无交叉显示可以使本来只需要显示一次的图像，分成多个轮次来显示。如果场景中人体之间没有相互重叠，依然会给出显示一轮的结果。如果人体框之间的重叠程度不大，也可以通过设定合适的重叠率阈值，来减少分成多轮显示的可能性。

本方法通过对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；并修改存在错误标注的图像框。其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框。本方法对于从安防、智能交通等领域获得的大量图像，先通过预设算法对图像中的目标对象进行预标注，得到多个图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。但是，通过预设算法对图像中的目标对象进行预标注，可能会存在被标注错误的图像框；所以本方法再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。同时，基于对图像中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。而且，本方法不仅可以实现多级目标对象的框标注，还能够根据父子从属关系检查错误标注；且在多个图像框相互交叠时，通过无交叉显示，快速略过正确的标注信息，定位到可能出错的标注位置，使本方法的整个标注过程有逻辑保障，出错的概率更小。

如图5所示，本发明还提供一种管理图像框的系统，包括有：

标注模块M10，用于对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

识别模块M20，用于根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框；

修改模块M30，用于修改存在错误标注的图像框。

本系统对于从安防、智能交通等领域获得的大量图像，先通过预设算法对图像中的目标对象进行预标注，得到多个图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。但是，通过预设算法对图像中的目标对象进行预标注，可能会存在被标注错误的图像框；所以本系统再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。同时，基于对图像中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

在一示例性实施例中，可以将某一图像框作为父级图像框，从属于该父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。在本发明中，图像数据存储可以是基于树的结构，图像框的从属关系具有唯一性；即子级图像框是父级图像框的子节点，父级图像框包括子级图像框。作为示例，本申请实施例中的目标对象包括以下至少之一：人体、人头、人脸；图像框包括以下至少之一：人体框、人头框、人脸框。例如，将人体框作为父级图像框，人头框作为子级图像框，建立人体框与人头框的从属关系；和/或，将人头框作为父级图像框，人脸框作为子级图像框，建立人头框与人脸框的从属关系。本申请实施例中，若将人体框作为父级图像框，人头框作为子级图像框的同时再将人脸框作为人头框的子级图像框，则人体框、人头框、人脸框之间形成祖孙关联；即人体框和人头框是父子从属关系，人头框与人脸框是父子从属关系。在本申请实施例中，人体框、人头框、人脸框之间的从属关系唯一，人头框是人体框的子节点、人脸框是人头框的子节点；同一个人员的人体框不会有两个人头框作为子节点，同一个人员的人头框也不会有两个人脸框作为子节点。在本申请实施例中，为了表示人体框、人头框、人脸框之间的唯一性，可以将同一人员的人体框、人头框、人脸框设置为同一个编号。其中，编号的设定根据图像画面中的人员进行设置，本申请不做具体的数值限制。例如，可以将某一帧图像画面中某个人员对应的人体框、人头框、人脸框的编号设置为34。

根据上述记载，在一示例性实施例中，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于对应的父级图像框；则预标注后的图像框存在错误标注。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，即将该人员的人头框标注为不属于该人员的人体框的子节点，使该人员的人头框没有与该人员的人体框进行关联；或者，将其他人员的人头框标注为属于该人员的人体框，即将其他人员的人头框标注为属于该人员的人体框，使其他人员的人头框与该人员的人体框进行了关联；则认为预标注后的图像框存在错误标注。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，即将该人员的人脸框标注为不属于该人员的人头框的子节点，使该人员的人脸框没有与该人员的人头框进行关联；或者，将其他人员的人脸框标注为属于该人员的人头框，即将其他人员的人脸框标注为属于该人员的人头框，使其他人员的人脸框与该人员的人头框进行了关联；则认为预标注后的图像框存在错误标注。

根据上述记载，在一示例性实施例中，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，则可以通过划线关联法修改这种错误标注。具体地，以人体框内的任意位置为起点，画一条直线或曲线穿过对应的人头框，通过预设的算法自动将该人员的人体框和人头框关联，从而修改这种错误标注。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，则可以通过划线关联法修改这种错误标注。具体地，以人头框内的任意位置为起点，画一条直线或曲线穿过对应的人脸框，通过预设的算法自动将该人员的人头框和人脸框关联，从而修改这种错误标注。作为另一示例，本申请还可以对多级目标对象进行一次性划线串联，完成这多级目标对象的关联。例如，若要将某一人员的人体框、人头框、人脸框进行关联，修改对应的错误标注；则以人体框内的任意位置为起点，画一条直线或曲线依次穿过对应的人头框、人脸框，通过预设的算法自动将该人员的人体框、人头框和人脸框进行关联。同时，如果该人员的人头框在关联之前已经与其他人员的人体框进行了关联，和/或，该人员的人脸框在关联之前已经与其他人员的人头框进行了关联；则会自动断开原来的从属关系，并自动重新分配编号。通过划线关联法来修改错误标注，能够重新快速地创建新的关联，建立新的从属全系，并且能够同时将人体、人头、人脸这种多级目标对象进行关联。

根据上述记载，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；可以通过划线关联法来修改标注。但是，划线关联法在部分情况下会失效，例如多个图像框高度重叠在一起时，可能导致某个图像框永远没法被直接选中；所以，本发明还提供连线关联法来修改错误标注。具体地，在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；将移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。本申请实施例将图像框(包括人体框、人头框、人脸框)的左上顶点作为关键点。作为示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人体框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人体框之间建立一条动态直线，再通过鼠标将移动光标移动至人头框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人头框，此时通过动态直线来创建该人员的人体框、人头框之间的关联，并对该人员的人体框、人头框使用相同的编号。作为另一示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人头框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人头框之间建立一条动态直线，再通过鼠标将移动光标移动至人脸框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人脸框，此时通过动态直线来创建该人员的人头框、人脸框之间的关联，并对该人员的人头框、人脸框使用相同的编号。

在一示例性实施例中，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；将移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。作为示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人体框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人体框之间建立一条动态直线，再通过鼠标将移动光标移动至人头框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人头框，此时通过动态直线来删除该人员的人体框、人头框之间的关联。若该人员的人体框还关联有其他人员的人头框，则自动断开其他人员的人头框，且其他人员的人头框进行自动编号。作为另一示例，对于某一帧图像画面中的某个人员，通过鼠标将移动光标移动至该人员的人头框的左上顶点附近，按下shift键，发出第一按键指令，响应第一按键指令，在移动光标和人头框之间建立一条动态直线，再通过鼠标将移动光标移动至人脸框的左上顶点附近，长按鼠标左键，响应第二按键指令，选中该人员的人脸框，此时通过动态直线来删除该人员的人头框、人脸框之间的关联。若该人员的人头框还关联有其他人员的人脸框，则自动断开其他人员的人脸框，且为其他人员的人脸框分配新的编号。

根据上述记载，在一示例性实施例中，按照图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框。若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。作为示例，如图3所示，若人员X的人头框10与对应的人体框20标注正确，但其人头框10的框形区域不完全位于人体框的框形区域20内，且该人头框10的顶点与对应的人体框20之间连接有虚线，则认为预标注后的图像框存在超框。作为另一示例，如图4所示，若人员X的人脸框30与对应的人头框10标注正确，但其人脸框30的框形区域不完全位于人头框的框形区域10内，且该人脸框30的顶点与对应的人头框10之间连接有虚线，则认为预标注后的图像框存在超框。本申请实施例可以通过拖顶点法修改超框，具体地，通过移动鼠标将移动光标移动至父级图像框或子级图像框的关键点附近，按住鼠标左键直接拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。而传统方法一般需要先选中对应的父级图像框或子级图像框，然后再拖动其顶点，这多出来的一个步骤会比较浪费时间。与传统方法相比，本申请能够减少一个操作步骤，也能够节约对应的时间。

本申请实施例中，当一个图像框被选中时(例如长按鼠标左键300ms选中图像框)，后续的添加图像框和点的操作都被视作是作为这个图像框的子节点而添加的。如果添加的是未命名的框，且该目标对象只定义了唯一一种子图像框类型(比如人体框的子节点中唯一定义了人头框、人头框的子节点中唯一定义了人脸框)，那么这个新添加的未命名框会被自动命名；如果添加的是未命名的点，那么这个点称为锚点。若刚添加时，该点处于选定状态，此时其类型可编辑，则该点不是锚点。在按写空格键后，取消其选定状态，该点就变成锚点了。如果图像框的子节点中没有定义除顶点外的其他点状图像框，那么这个点自诞生起就自动认为是锚点了。

根据上述记载，本申请实施例还可以通过锚点法修改超框。例如将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。具体地，当锚点位于图像框的外部时，按下鼠标左键，发出第三按键指令，响应第三按键指定，直接将图像框对应的边扩展到该点处。当锚点位于图像框的内部，则只能选择其中一条边收缩至该锚点处，具体是那条边，选择面积损失最小的那条边。如果同时按住上下左右四个快捷键中的一个，则是指定上下左右某条边收缩至该锚点处。一般情况下，用锚点法修改框形比拖顶点法修改框形更加高效；且在操作密集型的框标注/修改任务中，锚点法比托顶点法更具有优势。

根据上述记载，在一示例性实施例中，按照图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜层，则标注后的图像框存在侵入框。作为示例，如图5所示，人员X的人头框10的框形区域完全位于人员Y的人体框200的框形区域内，且两个图像框的接触面呈现有保护膜层40。本申请实施例中，当不属于某个人体框的人头框进入到该人体框的框形区域内，会在人体框与人头框的接触边外围附上一层显眼的“接触层”。这个设计模拟了细胞被微生物入侵时，会在与微生物的接触面上形成一层蛋白质保护外膜的免疫反应过程。它能直观的反映出被包裹的那个头框不属于下面的那个人体框，是“外来物”，“入侵物”。

根据上述记载，本方法通过超框和侵入框来突出预标注后出现异常的图像框。由于我们对错误标注的修改是始于预标注后的数据，既然是预标注的数据，那么绝大多数标注都是正确的。对于这些正常的多级框之间的关联关系，即人头框属于人体框、人脸框属于人头框情况，本申请认为没有必要做任何额外的信息展示，只是对那些可能出现异常的情况进行展示：例如人头框属于人体框，但人头框并不完全位于人体框内；人头框不属于该人体框，但人头框部分重叠于该人体框。同时，当存在多个子节点类型框时，比如人体框下包含人头框、头肩框、躯干框、手框等，或者车框下包含车牌框、车窗框、车门框、车轮框等时，不恰当的从属关系描述方法，会使整个标签描述界面的视觉干扰呈爆炸式增长。所以需要减少视觉干扰，降低疲劳；以及提高鉴别效率。对于一幅有着数十上百个人的图像场景来说，本申请不必逐个核对每组目标框之间的从属关系是否正确，可以快速排除绝大多数标注正常的信息，直接定位到异常图像框，再对异常图像框做进一步辨别。则可以用超框表现法和侵入框表现法来分别描述，这样极大的减少了整幅图的实际信息描述量，减少了信息冗余，也就减少的信息干扰；甚至于也不再需要显示框的标号。

根据上述记载，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。比如在某些场景中，人体框A、B、C相互重叠严重，某个人头框a属于人体框A，它与A的接触面未出现保护膜层，但它与人体框B、C的接触面都出现保护膜层，这在视觉效果上仍然是混乱的，难以直观判断a到底属于人体A、B、C中的哪一个。但是，在本申请实施例中，只有在父级图像框之间无重叠的时候，子级图像框与不同父级图像框的接触面才不会重叠，才能有效的使用侵入框表现法。本申请实施例中，人体框由于范围大，形变大，是最容易发生重叠的，只需要对人体框做无交叉显示处理。其中，无交叉显示，就是将图像场景中的相互有交叉的父级图像框，安排在不同的轮次显示出来，保证单次显示的图像框中，没有重叠现象。

其中，预设顺序根据以下至少之一的参数进行设置：人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。作为示例，将人体框按面积从大到小排序，然后从前往后开始搜索，如果当前框与当前队列中的框均无重叠，就将当前框加入当前队列，这样完整搜索一遍后，将当前队列中的人体框全部显示出来。那些没有被显示的人体框，会在下一轮继续进行相同的筛选，直到所有的人体框都被显示为止，最终需要显示的轮数就是无交叉显示轮数。本申请实施例中，对于子节点框(例如人头框)，在第一轮显示中，可以一次性全部显示。这样就可以判断所有的人头框与本轮显示的人体框之间的从属关系是否正确。如果某个人头框正确的属于当前显示的某个人体框，则它会随着这个人体框一起，不再显示于以后的轮次。如果存在错误标注，则修改错误标注，并将未关联上的图像框关联起来，将错误的关联断开。那些被关联后的人头框也不会在下一轮被显示，只有那些在该轮没有相应匹配人体框的人头框，会继续留到下一轮，等待被人体框配对领取。本申请通过无交叉显示可以使本来只需要显示一次的图像，分成多个轮次来显示。如果场景中人体之间没有相互重叠，依然会给出显示一轮的结果。如果人体框之间的重叠程度不大，也可以通过设定合适的重叠率阈值，来减少分成多轮显示的可能性。

本系统通过对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；根据预标注后的图像框确定图像框从属关系，并按照图像框从属关系识别预标注后的图像框是否存在错误标注；并修改存在错误标注的图像框。其中，错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于某一图像框、将不从属于某一图像框的另一图像框标注为从属于某一图像框。本系统对于从安防、智能交通等领域获得的大量图像，先通过预设算法对图像中的目标对象进行预标注，得到多个图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。但是，通过预设算法对图像中的目标对象进行预标注，可能会存在被标注错误的图像框；所以本系统再在预标注的基础上对存在错误标注的图像框进行纠正，使得对图像中的目标对象进行的标注完全正确。同时，基于对图像中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。而且，本系统不仅可以实现多级目标对象的框标注，还能够根据父子从属关系检查错误标注；且在多个图像框相互交叠时，通过无交叉显示，快速略过正确的标注信息，定位到可能出错的标注位置，使本系统的整个标注过程有逻辑保障，出错的概率更小。

本申请实施例还提供了一种管理图像框的设备，包括有：

对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改存在错误标注的图像框。

在本实施例中，该管理图像框的设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (33)

1.一种管理图像框的方法，其特征在于，包括有：

对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改存在错误标注的图像框。

2.根据权利要求1所述的管理图像框的方法，其特征在于，将某一图像框作为父级图像框，从属于所述父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。

3.根据权利要求2所述的管理图像框的方法，其特征在于，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，若将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则预标注后的图像框存在错误标注。

4.根据权利要求3所述的管理图像框的方法，其特征在于，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。

5.根据权利要求3所述的管理图像框的方法，其特征在于，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过所述动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。

6.根据权利要求3所述的管理图像框的方法，其特征在于，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过所述动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。

7.根据权利要求3所述的管理图像框的方法，其特征在于，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框；

若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。

8.根据权利要求7所述的管理图像框的方法，其特征在于，还包括拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

9.根据权利要求7所述的管理图像框的方法，其特征在于，还包括：

将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，

将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

10.根据权利要求3所述的管理图像框的方法，其特征在于，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜，则标注后的图像框存在侵入框。

11.根据权利要求1至10中任一所述的管理图像框的方法，其特征在于，所述目标对象包括以下至少之一：人体、人头、人脸；

所述图像框包括以下至少之一：人体框、人头框、人脸框。

12.根据权利要求11所述的管理图像框的方法，其特征在于，还包括：

将人体框作为父级图像框，人头框作为子级图像框，建立所述人体框与所述人头框的从属关系；和/或，

将人头框作为父级图像框，人脸框作为子级图像框，建立所述人头框与所述人脸框的从属关系。

13.根据权利要求11所述的管理图像框的方法，其特征在于，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。

14.根据权利要求13所述的管理图像框的方法，其特征在于，所述预设顺序根据以下至少之一的参数进行设置：

人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。

15.根据权利要求1至10中任一所述的管理图像框的方法，其特征在于，所述目标对象包括以下至少之一：车牌、车窗、车门、车轮；

所述图像框包括以下至少之一：车牌框、车窗框、车门框、车轮框。

16.一种管理图像框的系统，其特征在于，包括有：

标注模块，用于对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

识别模块，用于根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改模块，用于修改存在错误标注的图像框。

17.根据权利要求16所述的管理图像框的系统，其特征在于，将某一图像框作为父级图像框，从属于所述父级图像框的另一图像框作为子级图像框，确定图像框的父子从属关系。

18.根据权利要求17所述的管理图像框的系统，其特征在于，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，若将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则预标注后的图像框存在错误标注。

19.根据权利要求18所述的管理图像框的系统，其特征在于，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改错误标注。

20.根据权利要求18所述的管理图像框的系统，其特征在于，若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应的子级图像框；通过所述动态直线创建该父级图像框和对应子级图像框的关联，修改错误标注。

21.根据权利要求18所述的管理图像框的系统，其特征在于，若不从属于某一父级图像框的子级图像框被标注为属于该父级图像框；则在该父级图像框的关键点处响应第一按键指令，使移动光标与该父级图像框之间形成一条动态直线；

将所述移动光标移动至对应子级图像框的关键点处，并响应第二按键指令，选中对应子级图像框；通过所述动态直线删除该父级图像框和对应的子级图像框的关联，修改错误标注。

22.根据权利要求18所述的管理图像框的系统，其特征在于，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在超框；

若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。

23.根据权利要求22所述的管理图像框的系统，其特征在于，还包括拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

24.根据权利要求22所述的管理图像框的系统，其特征在于，还包括：

将锚点置于父级图像框的框形区域外，响应第三按键指令，扩展父级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内；或者，

将锚点置于子级图像框的框形区域内，响应第三按键指令，收缩子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。

25.根据权利要求18所述的管理图像框的系统，其特征在于，按照所述图像框从属关系识别预标注后的图像框是否存在错误标注前，还包括判断预标注后的图像框是否存在侵入框；

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜，则标注后的图像框存在侵入框。

26.根据权利要求16至25中任一所述的管理图像框的系统，其特征在于，所述目标对象包括以下至少之一：人体、人头、人脸；

所述图像框包括以下至少之一：人体框、人头框、人脸框。

27.根据权利要求26所述的管理图像框的系统，其特征在于，还包括：

将人体框作为父级图像框，人头框作为子级图像框，建立所述人体框与所述人头框的从属关系；和/或，

将人头框作为父级图像框，人脸框作为子级图像框，建立所述人头框与所述人脸框的从属关系。

28.根据权利要求26所述的管理图像框的系统，其特征在于，若预标注后的人体框之间存在交叉重叠，则将存在交叉重叠的人体框按照预设顺序在不同轮次中进行显示；使单次显示的人体框不存在交叉重叠。

29.根据权利要求28所述的管理图像框的系统，其特征在于，所述预设顺序根据以下至少之一的参数进行设置：

人体框面积、交叉重叠面积、人体框交叉重叠数量、重叠率阈值。

30.根据权利要求16至25中任一所述的管理图像框的系统，其特征在于，所述目标对象包括以下至少之一：车牌、车窗、车门、车轮；

所述图像框包括以下至少之一：车牌框、车窗框、车门框、车轮框。

31.一种管理图像框的设备，其特征在于，包括有：

对一张或多张图片中的目标对象进行预标注，获取预标注后的图像框；

根据预标注后的图像框确定图像框从属关系，并按照所述图像框从属关系识别预标注后的图像框是否存在错误标注；其中，所述错误标注包括以下至少之一：将从属于某一图像框的另一图像框标注为不属于所述某一图像框、将不从属于某一图像框的另一图像框标注为从属于所述某一图像框；

修改存在错误标注的图像框。

32.一种设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-15中任意一项所述的方法。

33.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-15中任意一项所述的方法。

Images