CN114637877A - 标注方法、电子设备及存储介质 - Google Patents
标注方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114637877A CN114637877A CN202210211652.4A CN202210211652A CN114637877A CN 114637877 A CN114637877 A CN 114637877A CN 202210211652 A CN202210211652 A CN 202210211652A CN 114637877 A CN114637877 A CN 114637877A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- model
- labeling
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种标注方法、电子设备及存储介质,其中,所述标注方法包括:获取被标注的目标图像,并解析所述目标图像的标注信息;根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型;利用所述目标模型对预设的图像数据集进行标注。本实施例所提供的方法通过从待标注的图像数据中获取被标注的目标图像,并解析目标图像的标注信息,从而可以根据标注信息从模型数据库中筛选与标注信息匹配的目标模型,并利用目标模型对预设的图像数据集进行标注,实现了图像数据标注的高效性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种标注方法、电子设备及存储介质。
背景技术
随着互联网和大数据的发展,越来越多的深度学习算法被应用在人工智能领域。大多数人工智能模型都具有监督算法,通过大量的标记数据来训练人工智能模型,使得人工智能模型具备分类、筛选等功能。
目前,一般采用人工标注的方式来完成样本数据的标注,即需求由专业的标注人员按照预设的数据标注标准对数据进行标注处理,然而,通过人工对数据进行标注这种方式对标注人员的要求较高,需要投入大量的人力成本,且标注周期长。
发明内容
本申请提供了一种标注方法、电子设备及存储介质,旨在实现图像数据的自动标注,提高图像数据标注效率。
第一方面,本申请实施例提供了一种标注方法,包括:
获取被标注的目标图像,并解析所述目标图像的标注信息;
根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型;
利用所述目标模型对预设的图像数据集进行标注。
本实施例通过从待标注的图像数据中获取被标注的目标图像,并解析目标图像的标注信息,从而可以根据标注信息从模型数据库中筛选与标注信息匹配的目标模型,并利用目标模型对预设的图像数据集进行标注,实现了图像数据标注的高效性。
在一些实施方式中,所述根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型,包括:
根据所述标注信息确定所述目标图像中的目标对象的对象类型,并从模型数据库中筛选符合预设条件的备选模型;
利用所述备选模型识别所述目标图像中所述目标对象的对象类型,并获取各个所述备选模型的识别结果;
根据所述识别结果从所述备选模型中确定目标模型。
本实施方式中,通过利用标注信息确定目标图像中的目标对象的对象类型,并根据对象类型获取到备选模型,同时利用备选模型识别目标图像,并根据识别结果从备选模型中筛选出对目标对象识别准确度较高的目标模型,进而在利用目标模型对预设的图像数据集进行标注时,可以有效提高图像数据标注的准确性。
在一些实施方式中,所述根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息;
根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的形状轮廓;
根据所述形状轮廓识别所述目标对象的对象类型。
本实施方式中,在识别目标对象的对象类型时,通过提取被标注标记的目标对象的颜色信息,基于目标对象和目标图像中的背景颜色及非目标对象之间存在差别,因此,可以根据颜色信息对目标图像进行图像分割,从而得到目标对象的轮廓信息,进而根据轮廓信息识别出目标对象的对象类型。
在一些实施方式中,所述根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的轮廓信息,包括:
获取所述目标图像中每个像素点的像素颜色信息;
从所述像素颜色信息中筛选出与所述目标颜色信息相匹配的第一颜色信息;
从所述目标图像中分割出所述第一颜色信息对应的像素点所对应的第一区域图像;
识别所述第一区域图像,得到所述目标对象的轮廓信息。
本实施方式中,在确定目标对象的轮廓信息时,通过获取目标图像中每个像素点的像素颜色信息,并筛选出与目标对象的目标颜色信息相匹配的第一颜色信息,从而可以根据第一颜色信息从目标图像中分割出第一区域图像,利用第一区域图像分析出目标对象的轮廓信息,基于第一区域图像为目标图像的部分,因此可以有效提高图像识别的效率。在一些实施方式中,所述标注信息包括标注框,所述根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
截取被所述标注框框选的框选区域图像;
将所述框选区域图像与预设数据库中标准图像进行相似度对比,并根据相似度对比结果确定所述框选区域图像中目标对象的对象类型。
本实施方式中,基于被截取的框选区域图像为目标图像中的部分图像,因此,利用框选区域图像进行图像识别可以有效提高图像识别的效率。
在一些实施方式中,所述利用所述目标模型对预设的图像数据集进行标注,包括:
利用预设训练样本优化所述目标模型,得到优化后的所述目标模型,所述预设训练样本至少包括所述目标图像;
利用优化后的所述目标模型对预设的图像数据集进行标注。
本申请实施方式中,在对图像数据进行标注时,通过预设样本对目标模型进行训练优化,从而可以有效提高利用目标模型对图像数据进行标注的准确性。
在一些实施方式中,所述方法还包括:
统计根据所述目标模型对所述图像数据集进行标注的标注结果,以根据所述标注结果筛选出所述图像数据集中被错误标注的误标图像;
以所述误标图像作为的负例训练数据输入所述目标模型得到预测结果;
当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,其中,修正后的损失函数值小于修正前的损失函数值;
根据修正后的损失函数值调整所述目标模型的模型参数,以更新所述目标模型。
本实施方式中,在利用目标模型对图像数据进行标注后,通过统计图像数据的标注结果,并根据标注结果筛选出误标图像,利用误标图像作为负例对目标模型进行优化更新,从而有效提高目标模型对图像数据标注的准确性。
在一些实施方式中,所述当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,包括:
当所述预测结果大于所述预设阈值时,获取预设的损失修正系数,其中,所述损失修正系数是小于1的正数;
将所述损失修正系数乘以所述负例训练数据对应的损失函数值,以对所述损失函数值进行修正。
第二方面,本申请实施例提供了一种电子设备,所述电子设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现本申请说明书任一实施例中的标注方法的步骤。
第三方面,本申请实施例提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本申请说明书任一实施例中的标注方法的步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种标注方法的流程示意图;
图2是本申请实施例提供的标注方法的应用场景示意图;
图3是本申请一实施例中对目标图像中的目标对象进行提取的示意图;
图4是本申请另一实施例中对目标图像中的目标对象进行提取的示意图;
图5是利用负例数据对目标模型进行更新的示意图;
图6是本申请实施例提供的一种电子设备的结构框图示意图。
具体实施例
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施例作详细说明,在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种标注方法的流程示意图。
本方案所述的标注方法可以应用在电子设备,如终端设备、服务器或云服务器中,其中,终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等;服务器可以为独立的服务器,也可以为服务器集群。
本申请实施例以该标注方法应用于终端设备为例进行说明。
请参阅图2,图2为标注方法应用在终端设备的场景示意图。
终端设备在接收到对应的指令时,根据指令获取目标图像,该目标图像上设置有标注信息,通过解析目标图像上的标注信息,从而可以根据标注信息从服务器的模型数据库中筛选出符合预设要求的目标模型,进而终端设备可以利用所获取的目标模型对预设的图像数据集进行标注,实现图像数据的自动化标注,有效提高了图像数据标注的效率。
如图1所示,本申请实施例的标注方法包括步骤S10至步骤S12。
步骤S10:获取被标注的目标图像,并解析所述目标图像的标注信息。
其中,目标图像可以是待标注数据中用户选定的一张或多张目标图像,或者是预设的标准图像,每张目标图像上设置有标注信息,该标注信息包括但不限定于文字信息、标注标记。
其中,标注信息用于标定目标图像中的目标物体。
在一些实施方式中,获取被标注的目标图像,并解析所述目标图像的标注信息,包括:
当接收到选择指令时,根据选择指令选择被标注的目标图像,并解析所述目标图像的标注信息。
选择指令是用户通过触发鼠标、键盘、按键、触控面板等输入设备向终端设备所发送的指令,终端设备在接收到选择指令后,根据选择指令选择被标注的目标图像,并解析目标图像上所标注的标注信息,从而可以根据标注信息确定目标图像内的目标对象。
示例性地,当用户想对具有目标对象A的图像数据进行标注时,通过终端设备获取到具有目标对象A的目标图像,该目标图像中目标对象A被标注有标注信息,其中,目标对象A可以为人或物,在此不做限定,例如,目标对象A可以为猫、狗、橙子等。
步骤S11:根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型。
模型数据库中存储有多个可以用于对图像数据进行标注的AI模型,不同的AI模型可以用于对不同类型的图像数据进行标注。预设图像数据对应的数据类型及AI模型之间的对应关系,在确定图像数据对应的数据类型时,可以通过图像数据对应的数据类型及AI模型的对应关系获取到用户标注当前图像数据的AI模型,其中,图像数据对应的数据类型通过图像数据中的目标对象的对象类型确定。
例如,模型数据库中存储有AI模型1、AI模型2、AI模型3、AI模型4、AI模型5及AI模型6。其中,AI模型1、AI模型2、AI模型3可以用于对具有A类型的目标对象的图像数据进行标注;AI模型4可以用于对具有B类型的目标对象的图像数据进行标注;AI模型5、6可以用于对具有C类型的目标对象的图像数据进行标注。
在一些实施方式中,所述根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型,包括:
根据所述标注信息确定所述目标图像中的目标对象的对象类型,并从模型数据库中筛选符合预设条件的备选模型;
利用所述备选模型识别所述目标图像中所述目标对象的对象类型,并获取各个所述备选模型的识别结果;
根据所述识别结果从所述备选模型中确定目标模型。
示例性地,标注信息可以是文字标注、也可以是框图标注、还可以是预设标记,通过识别标注信息可以确定当前目标图像中目标对象的对象类型,从而根据目标对象的对象类型从模型数据库中筛选出于对象类型匹配的AI模型作为备选模型。在获取备选模型后,利用所获取的识别目标图像中目标对象的对象类型,并获取各个备选模型的识别结果,该识别结果包括对目标图像中目标对象的对象类型识别的准确度,获取对目标对象的识别准确度最高的备选模型作为目标模型。
例如,以标注信息为文字信息为例进行说明,目标图像上标注有“橙子”、“橙”、“目标物为橙子”等,通过OCR(optical character recognition,文字识别)技术识别目标图像上的文字信息得到对应的目标文本,并对目标文本进行关键词提取,利用所获取的关键词确定标注信息所提示的目标对象的对象类型。
当根据关键词获知目标图像中的目标对象的对象类型为橙子时,从模型数据库中获取可以搜索可以用于识别目标对象为橙子的AI模型作为备选模型,并且利用从模型数据库中所获取的备选模型对目标图像进行识别标注,获取每个备选模型对目标图像的识别标注结果,并判断每个备选模型对目标图像识别标注结果的准确性,获取准确性最高的备选模型作为目标模型,如,若在模型数据库中获取到AI模型1、AI模型2、AI模型3作为对目标对象为橙子的图像进行识别标注的备选模型时,将目标图像分别输入至AI模型1、AI模型2、AI模型3进行识别标注,其中,AI模型1输出结果为目标图像中目标对象为橙子的概率为60%,目标对象为非橙子的概率为40%;AI模型2输出结果为目标图像中目标对象为橙子的概率为70%,目标对象为非橙子的概率为30%;AI模型3输出结果为目标图像中目标对象为橙子的概率为80%,目标对象为非橙子的概率为20%,则选择AI模型3的识别准确率最高,则将AI模型3作为目标模型。
本实施方式中,通过利用标注信息确定目标图像中的目标对象的对象类型,并根据对象类型获取到备选模型,同时利用备选模型识别目标图像,并根据识别结果从备选模型中筛选出对目标对象识别准确度较高的目标模型,进而在利用目标模型对预设的图像数据集进行标注时,可以有效提高图像数据标注的准确性。
在一些实施方式中,根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息;
根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的形状轮廓;
根据所述形状轮廓识别所述目标对象的对象类型。
请参阅图3,目标图片B中的目标对象C被标注标记,如矩形框所框选,通过识别矩形框从而确定所需进行提取颜色信息的目标对象C,并获取被框选区域内目标对象C的目标颜色信息,根据目标颜色信息对目标图像进行图像分割,得到目标对象C的形状轮廓,根据形状轮廓识别所述目标对象C的对象类型,其中,目标颜色信息可以是RGB信息,也可以是灰度值信息在此不做限定。
在一些实施方式中,标注标记为标记框,所述获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息,包括:
将目标图像进行灰度处理,获取所述目标图像对应的目标灰度图像;
提取所述目标灰度图像中被所述标记框所框选的区域的平均灰度值,并将所述平均灰度值作为所述目标对象的目标颜色信息。
示例性地,将图像进行灰度化处理,从而获取灰度图,基于每个像素点的像素灰度值均在0-255的区间,通过获取框选区域内的平均灰度值并利用该平均灰度值进行图像分割,从而从目标图像中分割出于平均灰度值匹配的目标对象。
可以理解,标注标记还可以是标记点,以标记点为中心生成预设形状的区域框,如,以标记点为中心以预设半径为R可以生成圆形标记框。
在一些实施方式中,标注标记为标记框,所述获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息,包括:
获取所述目标图像中被所述标记框所框选区域的全部像素点的RGB信息;
计算标注区域内全部像素点的平均RGB信息、及像素点的RGB极值信息;
根据平均RGB信息及的RGB极值信息确定所述目标对象的目标颜色信息。
示例性地,通过获取标记框所框选的区域内的全部像素点的平均RGB信息及像素点的RGB极值信息,并以平均RGB信息作为基准,同时根据RGB极值信息设置对应的浮动值,设定目标颜色信息,使得所获取的目标颜色信息的准确度更高。即目标颜色信息等于平均RGB信息和RGB极值信息的差值或总和。
例如,获取到标记框所框选区域内的全部像素点的平均RGB信息为(R255、G128、B0),像素点的RGB极值信息(R255、G112、B201),则根据像素点的RGB极值信息(R255、G112、B201)设定对应的浮动值(Rx、Gy、Bz),则目标颜色信息可以为(R255±x、G128±y、B0±z)。通过根据像素点的RGB极值信息设定对应的RGB浮动值,从而使得所获取的目标颜色的容错率更强,进而使得获取到的目标对象准确度更高。
在一些实施方式中,所述根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的轮廓信息,包括:
获取所述目标图像中每个像素点的像素颜色信息;
从所述像素颜色信息中筛选出与所述目标颜色信息相匹配的第一颜色信息;
从所述目标图像中分割出所述第一颜色信息对应的像素点所对应的第一区域图像;
识别所述第一区域图像,得到所述目标对象的轮廓信息。
如图3所示,通过获取被框选区域内目标对象C的目标颜色信息,并获取目标图像B中每个像素点的像素颜色信息,从而可以从像素颜色信息中筛选出与目标颜色信息相匹配的第一颜色信息,并从目标图像B中分割出所述第一颜色信息对应的像素点所对应的第一区域图像,通过识别所述第一区域图像,得到目标对象C的轮廓信息。从而可以根据所获取的形状轮廓识别该目标对象的对象类型。
本申请实施例中,在确定目标对象的轮廓信息时,通过获取目标图像中每个像素点的像素颜色信息,并筛选出与目标对象的目标颜色信息相匹配的第一颜色信息,从而可以根据第一颜色信息从目标图像中分割出第一区域图像,利用第一区域图像分析出目标对象的轮廓信息,基于第一区域图像为目标图像的部分,因此可以有效提高图像识别的效率。
在一些实施方式中,从所述目标图像中分割出所述第一颜色信息对应的像素点所对应的第一区域图像,包括:
从所述目标图像中分割出所述第一颜色信息对应的像素点所在多个备选区域,多个所述备选区域包括主备选区域及非主备选区域,所述主备选区域为被所述标注框标记的区域;
确定所述主备选区域和各个所述非主备选区域之间的间距;
根据所述间距筛选所述非主备选区域,并合并筛选后的所述非主备选区域和所述主备选区域以获取所述第一区域图像。
示例性地,从目标图像中分割出所述第一颜色信息对应的主备选区域C及非主备选区域D,获取主备选区域C及非主备选区域D之间的间距,若主备选区域C及非主备选区域D之间的间距大于预设值,表明主备选区域C及非主备选区域D可能属于两个不同的对象,则需删除非主备选区域D所对应的对象,保留主备选区域C所对应的对象,从而将主备选区域C作为第一区域图像,如图4所示。
若主备选区域C及非主备选区域D之间的间距小于预设值,表明主备选区域C及非主备选区域D可能属于同一对象,则将主备选区域C和非主备选区域D合并,并以第一颜色填充主备选区域C和非主备选区域D之间的间隙,从而获得对应的第一区域图像。
在一些实施方式中,所述标注信息包括标注框,所述根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
截取被所述标注框框选的框选区域图像;
将所述框选区域图像与预设数据库中标准图像进行相似度对比,并根据相似度对比结果确定所述框选区域图像中目标对象的对象类型。
示例性地,用户预先利用标注框框选目标图像中的目标对象,终端设备在进行图像识别时,通过截取被标注框框选的框选区域图像,并将所述框选区域图像与预设数据库中标准图像进行相似度对比,并根据相似度对比结果确定所述框选区域图像中目标对象的对象类型,例如,设定相似度阈值,若框选区域图像与预设数据库中标准图像的相似度超过预设值时,判断框选区域图像与对应的标准图像中的目标对象相同,即标准图像中的目标对象即为框选区域图像中的目标对象。
本申请实施例中,基于被截取的框选区域图像为目标图像中的部分图像,因此,利用框选区域图像进行图像识别可以有效提高图像识别的效率。
步骤S12:利用所述目标模型对预设的图像数据集进行标注。
在获取到目标模型后,将利用目标模型对待进行标注的图像数据进行标注,实现了图像数据标注的高效性。
在一些实施方式中,在步骤S12之后,所述方法还包括:
统计根据所述目标模型对所述图像数据集进行标注的标注结果,以根据所述标注结果筛选出所述图像数据集中被错误标注的误标图像;
以所述误标图像作为的负例训练数据输入所述目标模型得到预测结果;
当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,其中,修正后的损失函数值小于修正前的损失函数值;
根据修正后的损失函数值调整所述目标模型的模型参数,以更新所述目标模型。
在一些实施方式中,所述当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,包括:
当所述预测结果大于所述预设阈值时,获取预设的损失修正系数,其中,所述损失修正系数是小于1的正数;
将所述损失修正系数乘以所述负例训练数据对应的损失函数值,以对所述损失函数值进行修正。
请参阅图5,示例性地,在目标模型进行优化时,可以通过训练数据对该目标模型进行重新训练,并调整目标模型的对应参数,从而使得目标模型对数据标注效果更为精准。在训练过程中,训练数据的使用顺序可以多种,例如,可以是先采用正例训练数据来对待训练模型进行训练,再采用负例训练数据来对待训练模型进行调整,也可以是采用正例训练数据和负例训练数据一起来对待训练模型进行训练。
本申请实施例中,以采用负例训练数据对目标模型进行训练进行说明。在利用目标模型对图像数据集进行标注后,复检目标模型对图像数据的标注结果,并筛选出图像数据集中被错误标注的误标图像,以所误标图像作为的负例训练数据输入目标模型得到预测结果。
可以理解,当目标任务是图像目标检测任务时,待训练模型的输出结果可以是图像中每个像素点的分类结果,在各个分类结果的基础上,可以接上一个二分类器,二分类器可采用常用的二分类器,如softmax分类器;经过二分类模型对各个分类结果的处理,可得到一个表示该负例训练数据预测为负例的概率,该概率即可作为负例训练数据对应的预测结果。
在将负例训练数据输入目标模型得到预测结果后,可依据预测结果和训练数据对应的标注数据计算损失函数,目标模型的损失函数可以是采用针对目标任务常用的损失函数。损失函数值有负例训练数据对应的损失函数值和正例训练数据对应的损失函数值。由于负例训练数据虽然被标注为负例,但是可能是错误标记的负例,也即,部分负例训练数据可能实际上是正例,那么负例训练数据的标注数据也可能是错误的,从而导致计算出来的负例训练数据对应的损失函数值是有误的,而根据错误的损失函数值来计算模型参数的梯度,进而根据梯度来调整模型参数,会导致最终损失函数收敛时得到的模型参数是偏离的,模型以偏离的模型参数来进行使用时,会出现预测或分类不准确的现象。
在本实施方式中,当检测到一个负例训练数据对应的预测结果表征该负例训练数据被预测为负例的概率大于预设阈值时,可对该负例训练数据对应的损失函数值进行修正,并且,修正后的损失函数值小于修正前的损失函数值。
其中,预设阈值是预先设置的一个阈值,该阈值的范围可以是大于零小于1。也即,当一个负例训练数据被目标模型预测为负例的概率比较大时,说明该负例训练数据确实是负例的可能性是比较大的,此时,可以将该负例训练数据对于的损失函数值变小,使得该负例训练数据对损失函数的收敛做较大的贡献,即使得损失函数能够快速收敛;对应地,对被预测为负例的概率不大于预设阈值的负例训练数据,则对该负例训练数据的损失函数不做处理,可以使得当负例训练数据确实为负例的可能性比较小,也即很可能实际上是正例时,就让它对损失函数收敛的作用不变;从而使得实际上很可能为正例的负例训练数据,和实际上很可能为负例的负例训练数据,对比起来看,前者对损失函数的收敛作用减小,后者对损失函数的收敛作用变大,从而使得错误标记的负例对模型的影响降低,反过来就提高了最终获取到的模型的预测准确率或分类准确率,也即提高模型的性能。也即,通过负例训练数据被预测为负例的概率是否大于预设阈值,来表示负例训练数据被错误标记的可能性,当负例训练数据被预测为负例的概率大于预设阈值时,说明错误标记的可能性小,反之则说明错误标记的可能性大;从而实现根据负例训练数据被错误标记的可能性来对损失函数进行修正;当被错误标记的可能性小时,减少损失函数,当被错误标记的可能性大时,不改变损失函数,使得被错误标记可能性大的负例训练数据对模型训练的影响相对减少。
需要说明的是,对于被预测为负例的概率不大于预设阈值的负例训练数据,也可以是对该负例训练数据对应的损失函数值进行增大,从而更加减小实际上很可能是正例的负例训练数据对损失函数收敛的作用;由于一个负例训练数据虽然被预测为负例的概率不大于预设阈值,但也仍不能够确定该负例训练数据就是错误标记的负例,即不能够确定该负例训练数据就是正例,所以,将该负例训练数据对应的损失函数值不做处理的操作,可以避免错误地将本是负例的负例训练数据对损失函数收敛的作用减小。对负例训练数据对应的损失函数值进行修正,使得修正后的损失函数值小于修正前的损失函数值,具体可以采用的方式有多种,例如,可以将负例训练数据对应的损失函数值减少一个预设值,也可以是将负例训练数据对应的损失函数值乘以一个预设的小于1的正数等等。
根据修正后的损失函数值调整目标模型的模型参数。具体地,根据修正后的损失函数值计算各个模型参数对应的梯度,根据各个模型参数的梯度来对应更新各个模型参数,也即调整各个模型参数。
在调整目标模型的模型参数后,可以检测损失函数是否收敛;若损失函数收敛,则可以停止训练,将最终最后一次调整过的模型参数作为最终的模型参数,即得到更新后的目标模型;若损失函数未收敛,则可以在调整后的模型参数基础上,将训练数据再输入目标模型得到预测结果,以及修正损失函数值,计算梯度,调整模型参数;循环调整模型参数,直到检测到损失函数收敛为止。
本申请实施例中,在利用目标模型对图像数据进行标注后,通过统计图像数据的标注结果,并根据标注结果筛选出误标图像,利用误标图像作为负例对目标模型进行优化更新,从而有效提高目标模型对图像数据标注的准确性。
在一应用场景中,在需要对目标对象为“橙子”的图像数据集进行标注时,通过终端设备获取到具有目标对象“橙子”的目标图像,该目标图像中目标对象“橙子”被标注有标注信息,例如目标图像中的“橙子”被标注框所框选。通过解析目标图像上所标注的标注信息,从而可以根据标注信息确定目标图像内的目标对象的对象类型。
在确定目标对象的对象类型后,根据目标对象的对象类型从预设的模型数据库中筛选出于对象类型匹配的AI模型作为备选模型。其中,模型数据库中存储有多个可以用于对图像数据进行标注的AI模型,不同的AI模型可以用于对不同类型的图像数据进行标注。预设图像数据对应的数据类型及AI模型之间的对应关系,在确定图像数据对应的数据类型时,可以通过图像数据对应的数据类型及AI模型的对应关系获取到用户标注当前图像数据的AI模型,其中,图像数据对应的数据类型通过图像数据中的目标对象的对象类型确定。
在获取备选模型后,利用所获取的识别目标图像中目标对象的对象类型,并获取各个备选模型的识别结果,该识别结果包括对目标图像中目标对象的对象类型识别的准确度,获取对目标对象的识别准确度最高的备选模型作为目标模型。
例如,模型数据库中存储有AI模型1、AI模型2、AI模型3、AI模型4、AI模型5及AI模型6。其中,AI模型1、AI模型2、AI模型3可以用于对具有A类型,如“橙子”类型的目标对象的图像数据进行标注;AI模型4可以用于对具有B类型,如“苹果”类型的目标对象的图像数据进行标注;AI模型5、6可以用于对具有C类型,如“香蕉”类型的目标对象的图像数据进行标注。
当在模型数据库中获取到AI模型1、AI模型2、AI模型3作为对目标对象为橙子的图像进行识别标注的备选模型时,将目标图像分别输入至AI模型1、AI模型2、AI模型3进行识别标注,并获取对应每个AI模型对图像识别的识别结果,其中,AI模型1输出结果为目标图像中目标对象为橙子的概率为60%,目标对象为非橙子的概率为40%;AI模型2输出结果为目标图像中目标对象为橙子的概率为70%,目标对象为非橙子的概率为30%;AI模型3输出结果为目标图像中目标对象为橙子的概率为80%,目标对象为非橙子的概率为20%,则选择AI模型3的识别准确率最高,则将AI模型3作为目标模型。
在获取到目标模型后,利用该目标模型对预设的图像数据集进行标注,从而实现了图像数据标注的高效性。
请参阅图6,图6是本申请实施例提供的一种电子设备的示意性框图。该电子设备包括但不限于服务器。
如图6所示,该电子设备30包括处理器301、存储器302及网络接口303,处理器301和存储器302通过总线连接,并可以通过网络接口303或设置于电子设备30内的无线通信模块与外部设备通信连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
存储器302可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,处理器301用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时,实现本申请实施例提供的任意一种所述的标注方法。
在一些实施方式中,处理器301用于:
获取被标注的目标图像,并解析所述目标图像的标注信息;
根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型;
利用所述目标模型对预设的图像数据集进行标注。
在一些实施方式中,处理器301在根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型时,包括:
根据所述标注信息确定所述目标图像中的目标对象的对象类型,并从模型数据库中筛选符合预设条件的备选模型;
利用所述备选模型识别所述目标图像中所述目标对象的对象类型,并获取各个所述备选模型的识别结果;
根据所述识别结果从所述备选模型中确定目标模型。
在一些实施方式中,所述标注信息包括标注标记,处理器301在根据所述标注信息确定所述目标图像中的目标对象的对象类型时,包括:
获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息;
根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的形状轮廓;
根据所述形状轮廓识别所述目标对象的对象类型。
在一些实施方式中,处理器301在根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的轮廓信息时,包括:
获取所述目标图像中每个像素点的像素颜色信息;
从所述像素颜色信息中筛选出与所述目标颜色信息相匹配的第一颜色信息;
从所述目标图像中分割出所述第一颜色信息对应的像素点所对应的第一区域图像;
识别所述第一区域图像,得到所述目标对象的轮廓信息。
在一些实施方式中,所述标注信息包括标注框,处理器301在根据所述标注信息确定所述目标图像中的目标对象的对象类型时,包括:
截取被所述标注框框选的框选区域图像;
将所述框选区域图像与预设数据库中标准图像进行相似度对比,并根据相似度对比结果确定所述框选区域图像中目标对象的对象类型。
在一些实施方式中,处理器301在利用所述目标模型对预设的图像数据集进行标注时,包括:
利用预设训练样本优化所述目标模型,得到优化后的所述目标模型,所述预设训练样本至少包括所述目标图像;
利用优化后的所述目标模型对预设的图像数据集进行标注。
在一些实施方式中,处理器301还用于:
统计根据所述目标模型对所述图像数据集进行标注的标注结果,以根据所述标注结果筛选出所述图像数据集中被错误标注的误标图像;
以所述误标图像作为的负例训练数据输入所述目标模型得到预测结果;
当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,其中,修正后的损失函数值小于修正前的损失函数值;
根据修正后的损失函数值调整所述目标模型的模型参数,以更新所述目标模型。
在一些实施方式中,处理器301在所述当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正时,包括:
当所述预测结果大于所述预设阈值时,获取预设的损失修正系数,其中,所述损失修正系数是小于1的正数;
将所述损失修正系数乘以所述负例训练数据对应的损失函数值,以对所述损失函数值进行修正。
本申请实施例还提供一种存储介质,用于计算机可读存储,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如本申请说明书实施例提供的任一项标注方法的步骤。
其中,存储介质可以是前述实施例的电子设备的内部存储单元,例如电子设备的硬盘或内存。存储介质也可以是电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上,仅为本申请的具体实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围。
Claims (10)
1.一种标注方法,其特征在于,所述包括:
获取被标注的目标图像,并解析所述目标图像的标注信息;
根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型;
利用所述目标模型对预设的图像数据集进行标注。
2.如权利要求1所述的标注方法,其特征在于,所述根据所述标注信息从模型数据库中筛选与所述标注信息匹配的目标模型,包括:
根据所述标注信息确定所述目标图像中的目标对象的对象类型,并从模型数据库中筛选符合预设条件的备选模型;
利用所述备选模型识别所述目标图像中所述目标对象的对象类型,并获取各个所述备选模型的识别结果;
根据所述识别结果从所述备选模型中确定目标模型。
3.如权利要求2所述的标注方法,其特征在于,所述标注信息包括标注标记,所述根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
获取所述目标图像中被所述标注标记所标注的目标对象的目标颜色信息;
根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的形状轮廓;
根据所述形状轮廓识别所述目标对象的对象类型。
4.如权利要求3所述的标注方法,其特征在于,所述根据所述目标颜色信息对所述目标图像进行图像分割,得到所述目标对象的轮廓信息,包括:
获取所述目标图像中每个像素点的像素颜色信息;
从所述像素颜色信息中筛选出与所述目标颜色信息相匹配的第一颜色信息;
从所述目标图像中分割出所述第一颜色信息对应的像素点所对应的第一区域图像;
识别所述第一区域图像,得到所述目标对象的轮廓信息。
5.如权利要求2所述的标注方法,其特征在于,所述标注信息包括标注框,所述根据所述标注信息确定所述目标图像中的目标对象的对象类型,包括:
截取被所述标注框框选的框选区域图像;
将所述框选区域图像与预设数据库中标准图像进行相似度对比,并根据相似度对比结果确定所述框选区域图像中目标对象的对象类型。
6.如权利要求1所述的标注方法,其特征在于,所述利用所述目标模型对预设的图像数据集进行标注,包括:
利用预设训练样本优化所述目标模型,得到优化后的所述目标模型,所述预设训练样本至少包括所述目标图像;
利用优化后的所述目标模型对预设的图像数据集进行标注。
7.如权利要求1-6任一项所述的标注方法,其特征在于,所述方法还包括:
统计根据所述目标模型对所述图像数据集进行标注的标注结果,以根据所述标注结果筛选出所述图像数据集中被错误标注的误标图像;
以所述误标图像作为的负例训练数据输入所述目标模型得到预测结果;
当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,其中,修正后的损失函数值小于修正前的损失函数值;
根据修正后的损失函数值调整所述目标模型的模型参数,以更新所述目标模型。
8.如权利要求7所述的标注方法,其特征在于,所述当所述预测结果表征所述负例训练数据被预测为负例的概率大于预设阈值时,对所述负例训练数据对应的损失函数值进行修正,包括:
当所述预测结果大于所述预设阈值时,获取预设的损失修正系数,其中,所述损失修正系数是小于1的正数;
将所述损失修正系数乘以所述负例训练数据对应的损失函数值,以对所述损失函数值进行修正。
9.一种电子设备,其特征在于,所述电子设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如权利要求1至8中任一项所述的标注方法的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8中任一项所述的标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211652.4A CN114637877A (zh) | 2022-03-04 | 2022-03-04 | 标注方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211652.4A CN114637877A (zh) | 2022-03-04 | 2022-03-04 | 标注方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114637877A true CN114637877A (zh) | 2022-06-17 |
Family
ID=81947096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210211652.4A Pending CN114637877A (zh) | 2022-03-04 | 2022-03-04 | 标注方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114637877A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117853833A (zh) * | 2023-03-17 | 2024-04-09 | 广州纳指数据智能科技有限公司 | 基于ai智能识别的图像标注方法、装置、设备及存储介质 |
-
2022
- 2022-03-04 CN CN202210211652.4A patent/CN114637877A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117853833A (zh) * | 2023-03-17 | 2024-04-09 | 广州纳指数据智能科技有限公司 | 基于ai智能识别的图像标注方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10853695B2 (en) | Method and system for cell annotation with adaptive incremental learning | |
US10762376B2 (en) | Method and apparatus for detecting text | |
CN110705405B (zh) | 目标标注的方法及装置 | |
CN108830329B (zh) | 图片处理方法和装置 | |
CN111931864B (zh) | 基于顶点距离与交并比多重优化目标检测器的方法与系统 | |
WO2020038138A1 (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
CN112580657B (zh) | 一种自学习字符识别方法 | |
CN109670494A (zh) | 一种附带识别置信度的文本检测方法及系统 | |
CN113221918B (zh) | 目标检测方法、目标检测模型的训练方法及装置 | |
CN111325260A (zh) | 数据处理方法及装置、电子设备、计算机可读介质 | |
CN111626177A (zh) | 一种pcb元件识别方法及装置 | |
CN113255501B (zh) | 生成表格识别模型的方法、设备、介质及程序产品 | |
CN115082659A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
CN114637877A (zh) | 标注方法、电子设备及存储介质 | |
CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN116311276A (zh) | 文档图像矫正方法、装置、电子设备及可读介质 | |
CN115457585A (zh) | 作业批改的处理方法、装置、计算机设备及可读存储介质 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN115294593A (zh) | 一种图像信息抽取方法、装置、计算机设备及存储介质 | |
CN114565894A (zh) | 一种工作服装识别方法、装置、电子设备及存储介质 | |
CN114049686A (zh) | 签名识别模型训练方法、装置及电子设备 | |
CN112699908B (zh) | 标注图片的方法、电子终端、计算机可读存储介质及设备 | |
CN112287763A (zh) | 图像处理方法、装置、设备及介质 | |
CN113065559A (zh) | 图像比对方法、装置、电子设备及存储介质 | |
CN112347957A (zh) | 行人重识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |