CN113177607B - 一种对训练对象的标注方法及客户端 - Google Patents
一种对训练对象的标注方法及客户端 Download PDFInfo
- Publication number
- CN113177607B CN113177607B CN202110556676.9A CN202110556676A CN113177607B CN 113177607 B CN113177607 B CN 113177607B CN 202110556676 A CN202110556676 A CN 202110556676A CN 113177607 B CN113177607 B CN 113177607B
- Authority
- CN
- China
- Prior art keywords
- training
- client
- pixel points
- pixel point
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种对训练对象的标注方法及客户端,客户端从训练服务器获取训练图片;确定训练图片中各对象的轮廓像素点;针对任一对象,根据该对象的轮廓像素点中的关键像素点,确定该对象在训练图片中的标注;该标注用于指示该对象在训练图片中的位置;基于用户指令从具有标注的各对象中确定训练对象,并将训练对象的标注发送给训练服务器。该方式可通过自动化的手段,对训练图片中的每一个对象进行轮廓像素点的确定;以及,通过对轮廓像素点进行数据处理,则可以使用明显少于对象的轮廓像素点的标注来表示对象的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种对训练对象的标注方法及客户端。
背景技术
训练服务器是一种专门用来训练算法模型的装置。其中,在对训练服务器进行特定场景下的训练之前,需要对训练素材进行标注。在训练素材为图片时,则要求通过人工的方式对每张图片中的训练对象进行标注,从而可以基于带标注的图片对训练服务器进行训练。
上述人工标注图片中的训练对象的方式,具体可实施为:操作员通过鼠标对图片中要标注的训练对象使用矩形进行框选。然而,该种人工运用矩形框选图片中的训练对象的方式,存在以下两个缺点:
第一,操作员通过鼠标对训练对象画矩形框时,其画框时可能会画错(比如出现训练对象没有全在框里等错误);此时,对于发生错误的矩形框,操作员需要对其清楚并重新画,显然该过程相当耗时;
第二,操作员通过鼠标对训练对象画框时,一般都是画矩形框;但是,在很多情况下,矩形框并不能很好地对训练对象进行框选,也即由于训练对象表现出在形态的多样性,矩形框已经不足以充分、形象地对训练对象进行表示了,即该种通过矩形框选图片中训练对象的标注方式,其对训练对象进行标注、识别的准确度低下。
综上,目前亟需一种快速对图片中的训练对象进行准确标注的方法。
发明内容
本申请提供一种对训练对象的标注方法及客户端,用于快速、准确地对图片中的训练对象进行标注。
第一方面,本申请实施例提供一种对训练对象的标注方法,该方法包括:客户端从训练服务器获取训练图片;所述客户端确定所述训练图片中各对象的轮廓像素点;所述客户端针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置;所述客户端基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器。
基于该方案,客户端针对来自于训练服务器的训练图片,可首先确定其中各对象的轮廓像素点,然后客户端针对训练图片中的任一个对象,可根据该对象的轮廓像素点中的关键像素点,确定该对象在该训练图片中位置,即标注,最后客户端通过对用户指令进行响应,可将用户选取的训练对象的标注发送给训练服务器,以使训练服务器后续可以基于所选取的训练对象而进行有效训练。该方式可通过自动化的手段,对训练图片中的每一个对象进行轮廓像素点的确定;以及,通过对轮廓像素点进行数据处理,则可以使用明显少于对象的轮廓像素点的标注来表示对象的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
在一种可能实现的方法中,所述根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注,包括:所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;所述客户端根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点;所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注。
基于该方案,针对训练图片中的任一对象,客户端在确定该对象在训练图片中的标注时,可首先确定该对象在训练图片中的最小外接框,该最小外接框相较于该对象的轮廓像素点,虽然可能包括有极少量的无用信息,但是这对于后续的训练服务器在对训练对象进行训练时可以极大地减少数据处理量;然后,客户端可以确定与最小外接框的各交点,最后可以基于各交点确定该对象在训练图片中的标注。该方式可以在最小外接框的基础上,以若干个点所连成的多边形、最大完整度地表征出各对象在训练图片中的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
在一种可能实现的方法中,所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框,包括:所述第一关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的最小值或最大值;所述客户端以各第一关键像素点构建所述对象在所述训练图片中的最小外接框;所述最小外接框的任一边最多具有一个第一关键像素点。
基于该方案,客户端在为训练图片中的各对象确定对应于它的最小外接框时,首先需确定第一关键像素点,其中第一关键像素点在至少一个坐标方向上具有轮廓像素点中的最小值或最大值,然后客户端可以基于各第一关键像素点构建该对象在训练图片中的最小外接框,其中该最小外接框的任一边最多具有一个第一关键像素点。该方式得到的最小外接框相较于对象的轮廓像素点,虽然可能包括有极少量的无用信息,但是这对于后续的训练服务器在对训练对象进行训练时可以极大地减少数据处理量。
在一种可能实现的方法中,所述客户端根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点,包括:所述第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值;所述客户端以第一坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点构建第一直线,从而得到所述第一直线与所述最小外接框的交点;所述第一坐标方向为任一坐标方向;所述客户端以第一坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点构建第二直线,从而得到所述第二直线与所述最小外接框的交点。
基于该方案,客户端在为训练图片中的各对象确定它与最小外接框的各交点时,首先需确定第二关键像素点,其中第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值,然后,针对任一坐标方向,通过将该坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点进行连接,所得到的第一直线可与最小外接框形成交点,以及,通过将该坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点进行连接,所得到第二直线可与最小外接框形成交点。该方式通过对位于最小外接框上以及位于其内部的轮廓像素点进行处理,从而产生与最小外接框的交点,后续客户端将可以基于该些交点来确定对象在训练图片中的标注,可以以较少量的像素点、最大完整度的标识训练图片中的一个个的对象。
在一种可能实现的方法中,所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注,包括:所述客户端沿所述最小外接框的边走向,将各交点依次连接,得到所述对象在所述训练图片中的标注。
基于该方案,客户端在为训练图片中的一个个对象确定对应于它的标注时,可以沿着最小外接框的边走向,对位于最小外接框上的交点依次连接,从而得到一个不规则的多边形框,该不规则的多边形框的各个顶点的坐标信息即为对象在训练图片中中的标注,该方式可以灵活的以较少量的像素点、最大完整度的标识训练图片中的一个个的对象。
在一种可能实现的方法中,所述客户端确定所述训练图片中各对象的轮廓像素点,包括:所述客户端根据预设的边缘检测算法,对所述训练图片中的各对象进行边缘像素点的检测,从而得到所述训练图片中各对象的轮廓像素点。
基于该方案,针对训练图片中的一个个对象,可通过使用预设的边缘检测算法对当中的一个个对象进行边缘像素点的检测,从而可以得到训练图片中各对象的轮廓像素点,以便于后续基于每一个对象的轮廓像素点来确定该对象的标注,以及便于用户根据实际的训练需求而从训练图片中确定出训练对象,整体提升了对训练对象的提取速度。
在一种可能实现的方法中,所述客户端基于用户指令从具有标注的各对象中确定训练对象,包括:所述客户端按预设的显示方式对所述具有标注的各对象进行显示;所述客户端接收用户指令;所述用户指令作用于具有标注的第一对象上,所述用户指令用于指示所述第一对象为训练对象。
基于该方案,针对训练图片中的各对象,当客户端已经对各对象进行标注时,客户端首先可以使用预设的显示方式来对具有标注的各对象进行显示,以便于用户从训练图片中准确地识别出各对象;然后,在用户基于实际的训练需求而确定了其中的某一个/些对象为训练对象,则用户通过发出用户指令,该用户指令作用于具有批注的该个/些训练对象(即第一对象)上,相应的,客户端可以接收到用户指令,从而客户端可以将第一对象作为训练对象。该方式可以有效提升用户对训练对象的提取速度以及提取的准确度。
第二方面,本申请实施例提供一种客户端,该客户端包括:训练图片获取单元,用于从训练服务器获取训练图片;轮廓像素点确定单元,用于确定所述训练图片中各对象的轮廓像素点;标注生成单元,用于针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置;标注发送单元,用于基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器。
基于该方案,客户端针对来自于训练服务器的训练图片,可首先确定其中各对象的轮廓像素点,然后客户端针对训练图片中的任一个对象,可根据该对象的轮廓像素点中的关键像素点,确定该对象在该训练图片中位置,即标注,最后客户端通过对用户指令进行响应,可将用户选取的训练对象的标注发送给训练服务器,以使训练服务器后续可以基于所选取的训练对象而进行有效训练。该方式可通过自动化的手段,对训练图片中的每一个对象进行轮廓像素点的确定;以及,通过对轮廓像素点进行数据处理,则可以使用明显少于对象的轮廓像素点的标注来表示对象的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
在一种可能实现的方法中,所述标注生成单元,具体用于:根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点;根据所述各交点,确定所述对象在所述训练图片中的标注。
基于该方案,针对训练图片中的任一对象,客户端在确定该对象在训练图片中的标注时,可首先确定该对象在训练图片中的最小外接框,该最小外接框相较于该对象的轮廓像素点,虽然可能包括有极少量的无用信息,但是这对于后续的训练服务器在对训练对象进行训练时可以极大地减少数据处理量;然后,客户端可以确定与最小外接框的各交点,最后可以基于各交点确定该对象在训练图片中的标注。该方式可以在最小外接框的基础上,以若干个点所连成的多边形、最大完整度地表征出各对象在训练图片中的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
在一种可能实现的方法中,所述标注生成单元,还用于:所述第一关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的最小值或最大值;以各第一关键像素点构建所述对象在所述训练图片中的最小外接框;所述最小外接框的任一边最多具有一个第一关键像素点。
基于该方案,客户端在为训练图片中的各对象确定对应于它的最小外接框时,首先需确定第一关键像素点,其中第一关键像素点在至少一个坐标方向上具有轮廓像素点中的最小值或最大值,然后客户端可以基于各第一关键像素点构建该对象在训练图片中的最小外接框,其中该最小外接框的任一边最多具有一个第一关键像素点。该方式得到的最小外接框相较于对象的轮廓像素点,虽然可能包括有极少量的无用信息,但是这对于后续的训练服务器在对训练对象进行训练时可以极大地减少数据处理量。
在一种可能实现的方法中,所述标注生成单元,还用于:所述第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值;以第一坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点构建第一直线,从而得到所述第一直线与所述最小外接框的交点;所述第一坐标方向为任一坐标方向;以第一坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点构建第二直线,从而得到所述第二直线与所述最小外接框的交点。
基于该方案,客户端在为训练图片中的各对象确定它与最小外接框的各交点时,首先需确定第二关键像素点,其中第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值,然后,针对任一坐标方向,通过将该坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点进行连接,所得到的第一直线可与最小外接框形成交点,以及,通过将该坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点进行连接,所得到第二直线可与最小外接框形成交点。该方式通过对位于最小外接框上以及位于其内部的轮廓像素点进行处理,从而产生与最小外接框的交点,后续客户端将可以基于该些交点来确定对象在训练图片中的标注,可以以较少量的像素点、最大完整度的标识训练图片中的一个个的对象。
在一种可能实现的方法中,所述标注生成单元,还用于:沿所述最小外接框的边走向,将各交点依次连接,得到所述对象在所述训练图片中的标注。
基于该方案,客户端在为训练图片中的一个个对象确定对应于它的标注时,可以沿着最小外接框的边走向,对位于最小外接框上的交点依次连接,从而得到一个不规则的多边形框,该不规则的多边形框的各个顶点的坐标信息即为对象在训练图片中中的标注,该方式可以灵活的以较少量的像素点、最大完整度的标识训练图片中的一个个的对象。
在一种可能实现的方法中,所述轮廓像素点确定单元,具体用于:根据预设的边缘检测算法,对所述训练图片中的各对象进行边缘像素点的检测,从而得到所述训练图片中各对象的轮廓像素点。
基于该方案,针对训练图片中的一个个对象,可通过使用预设的边缘检测算法对当中的一个个对象进行边缘像素点的检测,从而可以得到训练图片中各对象的轮廓像素点,以便于后续基于每一个对象的轮廓像素点来确定该对象的标注,以及便于用户根据实际的训练需求而从训练图片中确定出训练对象,整体提升了对训练对象的提取速度。
在一种可能实现的方法中,所述标注发送单元,具体用于:按预设的显示方式对所述具有标注的各对象进行显示;接收用户指令;所述用户指令作用于具有标注的第一对象上,所述用户指令用于指示所述第一对象为训练对象。
基于该方案,针对训练图片中的各对象,当客户端已经对各对象进行标注时,客户端首先可以使用预设的显示方式来对具有标注的各对象进行显示,以便于用户从训练图片中准确地识别出各对象;然后,在用户基于实际的训练需求而确定了其中的某一个/些对象为训练对象,则用户通过发出用户指令,该用户指令作用于具有批注的该个/些训练对象(即第一对象)上,相应的,客户端可以接收到用户指令,从而客户端可以将第一对象作为训练对象。该方式可以有效提升用户对训练对象的提取速度以及提取的准确度。
第三方面,本申请实施例提供了一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如第一方面任一所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行如第一方面任一所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种可能的系统架构示意图;
图2为本申请实施例提供的一种对训练对象的标注方法;
图3为本申请实施例提供的一种标注示意图;
图4为本申请实施例提供的一种客户端。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
训练服务器是一种专门用来训练算法模型的装置。其中,在对训练服务器进行特定场景下的训练之前,需要对训练素材进行标注。在训练素材为图片时,则要求通过人工的方式对每张图片中的训练对象进行标注,从而可以基于带标注的图片对训练服务器进行训练。
然而,该种人工对图片中的训练对象进行标注的方式存在有繁琐耗时,且用于标识训练对象的矩形框并不总能很好、很贴切地描述训练对象的缺点。
针对上述技术问题,本申请实施例提供一种可能的系统架构,如图1所示,该系统架构中包括客户端110和训练服务器120。
其中,客户端110可用于从训练服务器120上下载待标注的图片,本申请实施例中令待标注的图片为训练图片。其中,客户端110可以逐张地从训练服务器120上下载训练图片,也可以批量地从训练服务器120上下载训练图片,或者是这两种方式相结合的下载方式,本申请实施例不做具体限定。
针对任一张训练图片,客户端110还可用于确定位于该训练图片中的各个对象的轮廓像素点;以及,针对该训练图片中的任一对象,客户端110还可用于根据用于表征该对象的轮廓像素点中的关键像素点来确定该对象在该训练图片中的位置,本申请实施例中令一对象在所在训练图片中的位置为所述对象在所述训练图片中的标注;最后,客户端110还可以用于接收用户指令,该用户指令为用户基于本次的训练需求、而从训练图片的各对象中确定出的用于作为训练服务器的训练素材的训练对象时生成的,从而客户端110还可以进一步用于将训练对象的标注发送给训练服务器120,以由训练服务器对训练对象的标注进行保存,最终在训练服务器120需要对本次的训练需求指示的训练对象进行训练时,仅需要从本地的数据存储区中获取对应于训练图片中的训练对象的标注信息即可。
训练服务器120可用于对训练需求指示的训练对象进行训练。其中,训练服务器120具体可用于向客户端110传输训练图片,以及可用于接收客户端110发送的训练对象的标注信息,并对训练对象的标注信息进行存储。
针对上述技术问题和图1所示的系统架构,本申请实施例提供一种对训练对象的标注方法,如图2所示,该方法包括:
步骤201,客户端从训练服务器获取训练图片。
在本步骤,客户端可以逐张从训练服务器获取训练图片,或者客户端也可以批量从训练服务器获取训练图片,或者客户端还可以是以这两种获取方式相结合的方式从训练服务器获取训练图片,本申请实施例对此不做具体限定。
步骤202,所述客户端确定所述训练图片中各对象的轮廓像素点。
在本步骤中,针对训练图片中的任一个对象,客户端可使用该对象的轮廓像素点来对该对象进行表征,而无需对该对象的每一个像素点都进行标识。该方式中,客户端可以在高完整度的条件下、以较少的数据量来对训练图片中的各对象进行表示。
步骤203,所述客户端针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置。
在本步骤中,针对训练图片中的任一个对象,客户端可根据用于表征该对象的轮廓像素点中的关键像素点,确定该对象在训练图片中的位置,即标注。通过该方式,可以实现不再局限于使用规则的矩形框来对训练图片中的对象进行标注,反而可以在有效地表征训练图片中的对象的前提下,灵活地使用多边形框来对训练图片中的对象进行标注。
步骤204,所述客户端基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器。
在本步骤中,针对训练图片中的每一个对象,客户端可以同时确定出每一个对象的标注;因此,在用户根据实际的训练需求确定了训练图片中的某一个/些对象为用于本次对训练服务器进行训练的训练对象时,用户可以对训练图片中的训练对象进行选取,即用户对客户端下发了用户指令,从而客户端可以将用户所指定的训练对象的标注发送给训练服务器,由训练服务器来对训练对象的标注进行存储,最终在训练服务器需要对本次的训练需求指示的训练对象进行训练时,仅需要从本地的数据存储区中获取对应于训练图片中的训练对象的标注信息即可。该方式可以避免背景技术中需要用户手动地对训练对象进行标注,以及,在标注过程中可能带来的一系列问题,如标注出错而需要返工处理,以及使用矩形框标注时不是很准确的问题。
基于该方案,客户端针对来自于训练服务器的训练图片,可首先确定其中各对象的轮廓像素点,然后客户端针对训练图片中的任一个对象,可根据该对象的轮廓像素点中的关键像素点,确定该对象在该训练图片中位置,即标注,最后客户端通过对用户指令进行响应,可将用户选取的训练对象的标注发送给训练服务器,以使训练服务器后续可以基于所选取的训练对象而进行有效训练。该方式可通过自动化的手段,对训练图片中的每一个对象进行轮廓像素点的确定;以及,通过对轮廓像素点进行数据处理,则可以使用明显少于对象的轮廓像素点的标注来表示对象的位置,在达到快速且准确标注图片中的每一个对象的效果时,还可极大地减轻训练服务器的数据处理压力。
以下将结合示例分别对上述一些步骤进行详细说明。
在上述步骤202的一个实施中,所述客户端确定所述训练图片中各对象的轮廓像素点,包括:所述客户端根据预设的边缘检测算法,对所述训练图片中的各对象进行边缘像素点的检测,从而得到所述训练图片中各对象的轮廓像素点。
例如,针对一张训练图片,其画面是一位女士带着一只猫和一条狗在空旷的大草坪上遛弯。此时,可以使用边缘检测算法,对该训练图片中的三个对象——女士、猫和狗,分别进行边缘像素点的检测,从而可以得到这三个对象各自对应的一组轮廓像素点,轮廓像素点在很大程度上可以表征出对象在当前的状态。
在使用轮廓像素点对训练图片中的对象进行表征时,如果对象的状态很复杂,比如前述训练图片中的女士采用的是一款爆炸头的造型,则此时用于表征该对象的轮廓像素点将会有很多很多,因此若直接使用轮廓像素点作为训练服务器对训练对象进行训练的依据,则必然加大了训练服务器的处理压力。针对此问题,本申请实施例可提供下述的解决方法:
在上述步骤203的一个实施中,所述根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注,包括:所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;所述客户端根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点;所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注。
在本申请的某些实施中,所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框,包括:所述第一关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的最小值或最大值;所述客户端以各第一关键像素点构建所述对象在所述训练图片中的最小外接框;所述最小外接框的任一边最多具有一个第一关键像素点。
下面通过一个例子说明如何得到对象在训练图片中的最小外接框。
参考图3,为本申请实施例提供的一种标注示意图。其中,在由x轴与y轴形成的平面直角坐标系中,存在有5个点,这5个点分别令为a、b、c、d和e,每个点的位置具体可以参见图3。设这5个点是客户端根据边缘检测算法对一训练图片中的一对象进行边缘像素点的检测后而形成的一组轮廓像素点。
针对图3中的a、b、c、d和e这5点,首先,在x轴方向上,d点具有该坐标方向上的最小值,b点具有该坐标方向上的最大值;在y方向上,a点具有该坐标方向上的最小值,c点具有该坐标方向上的最大值,因此,本申请实施例中将d、b、a和c分别称为第一关键像素点。
然后,过d点作与y轴平行的直线l1,过b点作与y轴平行的直线l2,过a点作与x轴平行的直线l3,过c点作与x轴平行的直线l4,其中,直线l1交直线l3、l4分别于m点和n点,l2交直线l3、l4分别于p点和q点,从而,依次连接p、q、n和m点,得到一矩形框(图3中未示出),该矩形框即为最小外接框。
在本申请的某些实施中,所述客户端根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点,包括:所述第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值;所述客户端以第一坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点构建第一直线,从而得到所述第一直线与所述最小外接框的交点;所述第一坐标方向为任一坐标方向;所述客户端以第一坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点构建第二直线,从而得到所述第二直线与所述最小外接框的交点。
在得到对象在训练图片中的最小外接框之后,可以通过下面的例子说明该对象与最小外接框的各交点是如何产生的。
接着前述最小矩形框的例子,继续参考图3,针对图3中的a、b、c、d和e这5点,首先,在x轴方向上,e点具有该坐标方向上的次小值,a点具有该坐标方向上的次大值;在y方向上,e点具有该坐标方向上的次小值,d点具有该坐标方向上的次大值,因此,本申请实施例中将e、a和d分别称为第二关键像素点。
然后,基于x轴方向,用直线l5连接该坐标方向上具有最大值的第一关键像素点b和具有次大值的第二关键像素点a,用直线l6连接该坐标方向上具有最小值的第一关键像素点d和具有次小值的第二关键像素点e;基于y轴方向,用直线l7连接该坐标方向上具有最大值的第一关键像素点c和具有次大值的第二关键像素点d,用直线l8连接该坐标方向上具有最小值的第一关键像素点a和具有次小值的第二关键像素点e。其中,直线l5交最小外接框于a点和b点,直线l6交最小外接框于d点和g点,直线l7交最小外接框于d点和c点,直线l8交最小外接框与h点和a点。
其中,本申请实施例中,直线l6和直线l8可以分别称为第一直线,直线l5和l7可以分别称为第二直线。
在本申请的某些实施中,所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注,包括:所述客户端沿所述最小外接框的边走向,将各交点依次连接,得到所述对象在所述训练图片中的标注。
在得到对象与最小外接框的各交点后,可以通过下面的例子说明如何确定的对应于该对象的标注。
接着前述对象与最小外接框形成交点的例子,继续参考图3,针对对象与最小外接框的各个交点,其中各个交点包括a、b、d、g、c和h点,则按照最小外接框的边走向,作为一种示例,本申请实施例中可以从p点开始、并按照顺时针的边走向,也即可以按照p—q—n—m—p这一边走向,将依次出现在p—q这一边上的交点b、出现在q—n这一边上的交点c、出现在n—m这一边上的交点d、h,以及出现在m—p这一边上的交点g、a,进行连接,得到一个多边形框(图3中已示出该多边形框),该多边形框的各个顶点坐标即为对该对象的标注。
说明的是,在本申请实施例中该多边形框为一六边形框。但是,在一些实施例中该多边形框还可以为矩形框。也即,多边形框究竟具有几条边,这是由对象的轮廓像素点确定的,也即是由对象的自身状态确定的。
针对图3中的多边形框,该多边形框(及其内部)涵盖了该对象的全部信息,相比于最小外接框,该方式可以有效过滤掉一些无用信息。通过该方式,可以避免背景技术中要求人工手动操作矩形框来框选训练对象,显然该种自动化生成多边形框的方式效率更高;且通过生成多边形框的方式,相较于一惯的使用矩形框框选训练对象的方式,对对象进行标注时更具灵活性。
在上述步骤204的一个实施中,所述客户端基于用户指令从具有标注的各对象中确定训练对象,包括:所述客户端按预设的显示方式对所述具有标注的各对象进行显示;所述客户端接收用户指令;所述用户指令作用于具有标注的第一对象上,所述用户指令用于指示所述第一对象为训练对象。
比如,针对前述训练图片中包括女士、猫和狗的例子,如根据本申请实施例的方法,分别为女士、猫和狗生成了对应于各自的一个多边形框,并且使用编号对每一个对象对应生成的多边形框进行了标识,如令女士、猫和狗分别对应的多边形框为1号、2号和3号。若本次的训练需求为对狗进行训练,即需要将训练图片中的狗确定为本次训练的训练对象,那么针对该问题,本申请实施例可以提供以下两种方式来确定训练对象:
方式1:客户端在为训练图片中的任一个对象生成多边形框时,可将对应于该对象的多边形框进行重点突出显示,且将该多边形框的所有顶点重点标识出来;从而,在用户对狗这一对象所在的多边形框中的任一个顶点、或任一条边、或该多边形框内的任一区域进行点击后,客户端都可以认为用户本次是选择了狗作为训练对象,并将狗所在的多边形框的所有顶点的坐标发送给训练服务器,由训练服务器进行存储。
方式2:客户端在为训练图片中的狗生成多边形框时,可使用数字3对狗所在的多边形框进行标识;从而在用户说出数字3或者通过键盘输入数字3时,客户端都可以认为用户本次是选择了狗作为训练对象,并将狗所在的多边形框的所有顶点的坐标发送给训练服务器,由训练服务器进行存储。
基于同样的构思,本申请实施例还提供一种客户端,如图4所示,该客户端包括:
训练图片获取单元401,用于从训练服务器获取训练图片;
轮廓像素点确定单元402,用于确定所述训练图片中各对象的轮廓像素点;
标注生成单元403,用于针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置;
标注发送单元404,用于基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器。
进一步地,对于该客户端,标注生成单元403,具体用于:根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;根据所述对象的轮廓像素点中的第二关键像素点和所述第一关键像素点,确定与所述最小外接框的各交点;根据所述各交点,确定所述对象在所述训练图片中的标注。
进一步地,对于该客户端,标注生成单元403,还用于:所述第一关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的最小值或最大值;以各第一关键像素点构建所述对象在所述训练图片中的最小外接框;所述最小外接框的任一边最多具有一个第一关键像素点。
进一步地,对于该客户端,标注生成单元403,还用于:所述第二关键像素点在至少在一个坐标方向上具有所述轮廓像素点中的次小值或次大值;以第一坐标方向上具有最小值的第一关键像素点和具有次小值的第二关键像素点构建第一直线,从而得到所述第一直线与所述最小外接框的交点;所述第一坐标方向为任一坐标方向;以第一坐标方向上具有最大值的第一关键像素点和具有次大值的第二关键像素点构建第二直线,从而得到所述第二直线与所述最小外接框的交点。
进一步地,对于该客户端,标注生成单元403,还用于:沿所述最小外接框的边走向,将各交点依次连接,得到所述对象在所述训练图片中的标注。
进一步地,对于该客户端,轮廓像素点确定单元402,具体用于:根据预设的边缘检测算法,对所述训练图片中的各对象进行边缘像素点的检测,从而得到所述训练图片中各对象的轮廓像素点。
进一步地,对于该客户端,标注发送单元403,具体用于:按预设的显示方式对所述具有标注的各对象进行显示;接收用户指令;所述用户指令作用于具有标注的第一对象上,所述用户指令用于指示所述第一对象为训练对象。
本申请实施例提供了一种计算设备,该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等。该计算设备可以包括中央处理器(Center Processing Unit,CPU)、存储器、输入/输出设备等,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器,可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中,存储器可以用于存储对训练对象的标注方法的程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行对训练对象的标注方法。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行对训练对象的标注方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种对训练对象的标注方法,其特征在于,包括:
客户端从训练服务器获取训练图片;
所述客户端确定所述训练图片中各对象的轮廓像素点;
所述客户端针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置;
所述客户端基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器;
所述根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注,包括:
所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;
所述客户端根据所述对象的轮廓像素点中的第一坐标方向上具有次小值的第二关键像素点和具有最小值的第一关键像素点构成的第一直线,以及根据所述对象的轮廓像素点中的第一坐标方向上具有次大值的第二关键像素点和具有最大值的第一关键像素点构成的第二直线,确定与所述最小外接框的各交点;所述第一关键像素点在至少一个坐标方向上具有所述轮廓像素点中的最小值或最大值;所述第二关键像素点在至少一个坐标方向上具有所述轮廓像素点中的次小值或次大值;所述第一坐标方向为任一坐标方向;
所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注。
2.如权利要求1所述的方法,其特征在于,
所述客户端根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框,包括:
所述客户端以各第一关键像素点构建所述对象在所述训练图片中的最小外接框;所述最小外接框的任一边最多具有一个第一关键像素点。
3.如权利要求1所述的方法,其特征在于,
所述客户端根据所述各交点,确定所述对象在所述训练图片中的标注,包括:
所述客户端沿所述最小外接框的边走向,将各交点依次连接,得到所述对象在所述训练图片中的标注。
4.如权利要求1所述的方法,其特征在于,
所述客户端确定所述训练图片中各对象的轮廓像素点,包括:
所述客户端根据预设的边缘检测算法,对所述训练图片中的各对象进行边缘像素点的检测,从而得到所述训练图片中各对象的轮廓像素点。
5.如权利要求1所述的方法,其特征在于,
所述客户端基于用户指令从具有标注的各对象中确定训练对象,包括:
所述客户端按预设的显示方式对所述具有标注的各对象进行显示;
所述客户端接收用户指令;所述用户指令作用于具有标注的第一对象上,所述用户指令用于指示所述第一对象为训练对象。
6.一种客户端,其特征在于,包括:
训练图片获取单元,用于从训练服务器获取训练图片;
轮廓像素点确定单元,用于确定所述训练图片中各对象的轮廓像素点;
标注生成单元,用于针对任一对象,根据所述对象的轮廓像素点中的关键像素点,确定所述对象在所述训练图片中的标注;所述标注用于指示所述对象在所述训练图片中的位置;
标注发送单元,用于基于用户指令从具有标注的各对象中确定训练对象,并将所述训练对象的标注发送给所述训练服务器;
所述标注生成单元,具体用于:
根据所述对象的轮廓像素点中的第一关键像素点,确定所述对象在所述训练图片中的最小外接框;
根据所述对象的轮廓像素点中的第一坐标方向上具有次小值的第二关键像素点和具有最小值的第一关键像素点构成的第一直线,以及根据所述对象的轮廓像素点中的第一坐标方向上具有次大值的第二关键像素点和具有最大值的第一关键像素点构成的第二直线,确定与所述最小外接框的各交点;所述第一关键像素点在至少一个坐标方向上具有所述轮廓像素点中的最小值或最大值;所述第二关键像素点在至少一个坐标方向上具有所述轮廓像素点中的次小值或次大值;所述第一坐标方向为任一坐标方向;
根据所述各交点,确定所述对象在所述训练图片中的标注。
7.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,当所述程序在计算机上运行时,使得计算机实现执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110556676.9A CN113177607B (zh) | 2021-05-21 | 2021-05-21 | 一种对训练对象的标注方法及客户端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110556676.9A CN113177607B (zh) | 2021-05-21 | 2021-05-21 | 一种对训练对象的标注方法及客户端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177607A CN113177607A (zh) | 2021-07-27 |
CN113177607B true CN113177607B (zh) | 2023-01-31 |
Family
ID=76929945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110556676.9A Active CN113177607B (zh) | 2021-05-21 | 2021-05-21 | 一种对训练对象的标注方法及客户端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177607B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877062A (zh) * | 2009-12-21 | 2010-11-03 | 汉王科技股份有限公司 | 图像版面区域轮廓分析方法 |
CN103213404A (zh) * | 2012-01-17 | 2013-07-24 | 株式会社理光 | 信息处理设备、信息处理方法和系统 |
CN109492549A (zh) * | 2018-10-24 | 2019-03-19 | 杭州睿琪软件有限公司 | 一种训练样本集处理、模型训练方法及系统 |
CN109840592A (zh) * | 2018-12-24 | 2019-06-04 | 梦多科技有限公司 | 一种机器学习中快速标记训练数据的方法 |
CN109978063A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成目标对象的对齐模型的方法 |
CN111461100A (zh) * | 2020-03-31 | 2020-07-28 | 重庆农村商业银行股份有限公司 | 一种票据识别方法、装置、电子设备和存储介质 |
CN112258504A (zh) * | 2020-11-13 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、设备及计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2930996B2 (ja) * | 1989-12-20 | 1999-08-09 | 富士通株式会社 | 画像認識方法および画像認識装置 |
CN105469087B (zh) * | 2015-07-13 | 2017-04-19 | 百度在线网络技术(北京)有限公司 | 识别服饰图片的方法、服饰图片的标注方法及装置 |
CN110069204B (zh) * | 2019-04-15 | 2021-12-03 | 广州视源电子科技股份有限公司 | 基于书写轨迹的图形处理方法、装置、设备及存储介质 |
CN110705576B (zh) * | 2019-09-29 | 2020-09-22 | 慧影医疗科技(北京)有限公司 | 区域轮廓确定方法、装置及图像显示设备 |
CN111709461A (zh) * | 2020-05-27 | 2020-09-25 | 北京百度网讯科技有限公司 | 动物识别模型的训练方法、装置、设备及存储介质 |
-
2021
- 2021-05-21 CN CN202110556676.9A patent/CN113177607B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877062A (zh) * | 2009-12-21 | 2010-11-03 | 汉王科技股份有限公司 | 图像版面区域轮廓分析方法 |
CN103213404A (zh) * | 2012-01-17 | 2013-07-24 | 株式会社理光 | 信息处理设备、信息处理方法和系统 |
CN109492549A (zh) * | 2018-10-24 | 2019-03-19 | 杭州睿琪软件有限公司 | 一种训练样本集处理、模型训练方法及系统 |
CN109840592A (zh) * | 2018-12-24 | 2019-06-04 | 梦多科技有限公司 | 一种机器学习中快速标记训练数据的方法 |
CN109978063A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成目标对象的对齐模型的方法 |
CN111461100A (zh) * | 2020-03-31 | 2020-07-28 | 重庆农村商业银行股份有限公司 | 一种票据识别方法、装置、电子设备和存储介质 |
CN112258504A (zh) * | 2020-11-13 | 2021-01-22 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113177607A (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200374600A1 (en) | Method for Embedding Advertisement in Video and Computer Device | |
US9349076B1 (en) | Template-based target object detection in an image | |
CN108229303B (zh) | 检测识别和检测识别网络的训练方法及装置、设备、介质 | |
CN113298169B (zh) | 一种基于卷积神经网络的旋转目标检测方法及装置 | |
WO2022227770A1 (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
US8340433B2 (en) | Image processing apparatus, electronic medium, and image processing method | |
WO2021238548A1 (zh) | 区域识别方法、装置、设备及可读存储介质 | |
US20210200971A1 (en) | Image processing method and apparatus | |
US20240193923A1 (en) | Method of training target object detection model, method of detecting target object, electronic device and storage medium | |
CN112396032B (zh) | 书写检测方法、装置、存储介质及电子设备 | |
CN111274848A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN108597034B (zh) | 用于生成信息的方法和装置 | |
CN111860484B (zh) | 一种区域标注方法、装置、设备及存储介质 | |
CN115601672B (zh) | 一种基于深度学习的vr智能巡店方法及装置 | |
CN113610809B (zh) | 骨折检测方法、装置、电子设备以及存储介质 | |
CN113177607B (zh) | 一种对训练对象的标注方法及客户端 | |
EP4083938A2 (en) | Method and apparatus for image annotation, electronic device and storage medium | |
US20240212239A1 (en) | Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium | |
CN110782390A (zh) | 图像的矫正处理方法及装置、电子设备 | |
CN113361371B (zh) | 道路提取方法、装置、设备以及存储介质 | |
CN115937593A (zh) | 一种模型法建立方法、物体检测方法及相关设备 | |
CN110764764B (zh) | 网页端图像固定拉伸方法、装置、计算机设备及存储介质 | |
CN110942056A (zh) | 服饰关键点定位方法、装置、电子设备及介质 | |
CN111508045A (zh) | 一种图片合成的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |