CN115223024A - 一种图像标注方法及装置 - Google Patents

一种图像标注方法及装置 Download PDF

Info

Publication number
CN115223024A
CN115223024A CN202210692900.1A CN202210692900A CN115223024A CN 115223024 A CN115223024 A CN 115223024A CN 202210692900 A CN202210692900 A CN 202210692900A CN 115223024 A CN115223024 A CN 115223024A
Authority
CN
China
Prior art keywords
image
dimensional
information
bounding box
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210692900.1A
Other languages
English (en)
Inventor
孙金虎
周毅
刘万凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210692900.1A priority Critical patent/CN115223024A/zh
Publication of CN115223024A publication Critical patent/CN115223024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像标注方法及装置,所述方法包括:获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。本申请的图像标注方法及装置能够简单、快速地对多个图像中的目标物体进行二维标注。

Description

一种图像标注方法及装置
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像标注方法及装置。
背景技术
当前AI技术的发展已进入新的阶段,人们不仅专注于提升AI算法的效果和效率,而且还看重算法的工程化布署,解决实际布署中的各种问题。而在进行AI训练过程中,需要大量包含数据标注的训练数据进行训练。但是训练数据的标注过程存在工作量大、人工标注易出错等缺陷,已成为AI算法工程化布署中的痛点问题。
发明内容
本申请提供了一种能够简单、快速地对多个图像中的目标物体进行二维标注的图像标注方法及装置。
为了解决上述技术问题,本申请实施例提供了一种图像标注方法,其中,包括:
获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;
自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;
至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;
至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。
作为一可选实施例,所述二维标注信息为2D包围盒,所述三维标注信息为3D包围盒,其中,至少基于所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述3D包围盒确定每个所述第二图像对应的候选2D包围盒;
基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,以得到每个所述第二图像分别对应的目标2D包围盒。
作为一可选实施例,所述基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,包括:
将每个所述候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个所述候选2D包围盒的形状。
作为一可选实施例,所述方法还包括:
接收标注指令,所述标注指令用于对所述多个第一图像中的至少一个进行标注;
将被标注的所述第一图像确定为所述目标图像。
作为一可选实施例,所述至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息,包括:
获取每个所述目标图像相对于所述目标物体的第一拍摄方位信息;
基于所述多个目标图像中的二维标注信息和所述第一拍摄方位信息确定所述目标物体的三维标注信息。
作为一可选实施例,至少基于所述三维标注信息确定每个第二图像对应的二维标注信息,包括:
至少确定每个所述第二图像相对于所述目标物体的第二拍摄方位信息;
基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息。
作为一可选实施例,所述基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述第二拍摄方位信息确定每个所述第二图像与所述目标物的投影关系;
基于各个所述投影关系确定所述三维标注信息在每个所述第二图像上的投影;
基于各个所述投影分别确定每个所述第二图像对应的二维标注信息。
本申请另一实施例提供一种图像标注装置,其中,包括:
获得模块,用于获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;
提取模块,用于自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;
第一确定模块,用于至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;
第二确定模块,用于至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。
作为一可选实施例,所述二维标注信息为2D包围盒,所述三维标注信息为3D包围盒,其中,至少基于所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述3D包围盒确定每个所述第二图像对应的候选2D包围盒;
基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,以得到每个所述第二图像分别对应的目标2D包围盒。
作为一可选实施例,所述基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,包括:
将每个所述候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个所述候选2D包围盒的形状。
基于上述实施例的公开可以获知,本申请实施例具备的有益效果包括通过获得多个包含目标物体且拍摄方位不同的第一图像,接着自第一图像中提取出少量具有对应目标物体的二维标注信息的目标图像,之后便可利用该少量目标图像上的二维标注信息确定出对应目标物体的三维标注信息,最后基于该三维标注信息直接为未标注有目标物体的二维标注信息的第二图像进行处理,以使得第二图像上包含该二维标注信息。基于本申请的方法可以加快图像标注效率,减少人工标注量及标注难度,同时统一了标注标准,减少了因人工标注产生的误差。
附图说明
图1为本申请实施例中的图像标注方法的流程图。
图2为本申请另一实施例中的图像标注方法的流程图。
图3为本申请另一实施例中的图像标注方法的流程图。
图4为本申请中基于二维标注信息确定三维标注信息的方法示意图。
图5为本申请实施例中的图像标注装置的结构框图。
具体实施方式
下面,结合附图对本申请的具体实施例进行详细的描述,但不作为本申请的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,下述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本申请实施例。
如图1所示,本申请实施例提供一种图像标注方法,其中,包括:
S101:获得多个包含目标物体的第一图像,多个第一图像之间至少拍摄方位不同;
S201:自多个第一图像中提取多个目标图像,多个目标图像中具有针对目标物体的二维标注信息;
S301:至少基于多个目标图像中的二维标注信息确定目标物体的三维标注信息;
S401:至少基于三维标注信息确定每个第二图像中目标物体对应的二维标注信息,第二图像为未标注的第一图像。
例如,用户可以使用手机、平板、相机、智能眼镜、AR设备等具有采集功能的设备在不同的拍摄方位对目标物体进行拍摄,而得到多个均包含目标物体的第一图像。或者,用户也可以基于其他方式直接获得已采集好的第一图像。接着,用户从多个第一图像中选择、提取少量的目标图像,例如可以为3个,4个,5个等,具体不定。该多个目标图像的拍摄方位均不同,优选是拍摄方位间相差角度较大,以使得基于该多个目标图像能够体现目标物体在不同角度下的像,例如以目标物体中心,相邻两个拍摄方向间的夹角为钝角等。倘若拍摄方位间角度差较小,则可能会导致二维标注信息的误差过大,由此引发后续的三维标注信息同样具有较大误差。在具体进行目标图像的选择时,可以结合设备获得的具体图像的拍摄方位信息,或者结合获得的采集设备的内参、外参等。
进一步地,本实施例中的目标图像中记录有目标物体的二维标注信息,该二维标注信息可以是人为标注的,也可以是通过其他设备或应用标注的。该二维标注信息可以是目标物体整体的详细信息,也可以是目标物体整体的粗略信息,如目标物体的外接图形的二维标注信息,或目标物体整体的长、宽、高信息等,还可以是目标物体的局部区域的标注信息,如某个瑕疵区域等感兴趣区域的标注信息。当设备确定了目标图像的二维标注信息后,便可基于该二维标注信息确定对应目标物体整体或局部的三维标注信息,基于该三维标注信息可以得到目标物体的整体三维结构,或者得到一包覆目标物体整体的立体结构,或者还可以得到对应目标物体的局部区域的三维结构或包覆该局部区域的立体结构等,具体不唯一,根据具体的二维标注信息得到。当得到了目标物体的三维标注信息后,设备可以至少结合三维标注信息而对第一图像中未标注有二维标注信息的第二图像进行快速标注,使第二图像与目标图像中的目标物体的标注有第二标注信息的区域同样具有第二标注信息。如目标图像中的整体或局部标注有第二标注信息,那么设备基于上述三维标注信息便可以自动为第二图像中目标物体的整体或局部进行适配性的二维标注。因为不同的第一图像由于拍摄方位不同,故其二维标注信息也是具有差异的。设备在进行二维信息的标注时,会克服该问题而完成标注。
基于上述实施例的公开可以获知,本实施例具备的有益效果包括通过获得多个包含目标物体且拍摄方位不同的第一图像,接着自第一图像中提取出少量具有对应目标物体的二维标注信息的目标图像,之后便可利用该少量目标图像上的二维标注信息确定出对应目标物体的三维标注信息,最后基于该三维标注信息直接为未标注有目标物体的二维标注信息的第二图像进行处理,以使得第二图像上包含该二维标注信息。上述过程简单、快速,基于上述方法可以加快图像标注效率,减少人工标注量及标注难度,同时统一了标注标准,减少了因人工标注产生的误差。
进一步地,本实施例中的方法还包括:
S501:接收标注指令,该标注指令用于对多个第一图像中的至少一个进行标注;
S502:将被标注的第一图像确定为目标图像。
例如,设备中具有标注功能,如基于标注软件实现等,用户通过向设备输入标注指令,使设备获知需要对哪些第一图像进行二维标注。具体地,设备可以对第一图像进行编号,用户可以通过标注指令告知设备需要对某些编号的第一图像进行二维标注。或者用户可以将需要标注的第一图像的特征信息写入标注指令中,使设备基于特征信息来对多个第一图像进行识别、分析、筛选,最终确定出满足特征信息的第一图像进行二维标注。该特征信息例如是图像是拍摄方位、拍摄方位之间的角度及位置差距、目标物体相对所在图像中的像的角度、需要标注的区域的内容特征等参数中的一种或多种,具体不唯一。例如当需要进行局部区域的标注时,可以将局部区域的图像内容、内容特征等输入至设备中,以使设备基于局部区域特征来选择出包含该区域的第一图像,接着再从该确定的第一图像中基于标注指令的其他信息,如关于拍摄角度的信息确定出目标图像。再或者,用户可以直接将需要标注的第一图像输入至设备中,并要求设备进行标注。另外,还可以是设备具有一模型,该模型是基于历史第一图像、历史目标图像进行训练得到,当设备获得了多个第一图像后,便可以基于该模型对第一图像进行处理,最终输出需要进行标注的第一图像,之后设备便可以基于该确定出的第一图像进行标注。当设备完成了提取出的第一图像的标注后,会直接确定该含有二维标注信息的第一图像为目标图像。
可选地,例如设备能够获得采集设备的位姿信息,如能够获得采集设备内参、外参等数据,或设备能够获知每个图像的具体拍摄方位时,可以采用最远点采样法从多个第一图像中提取出目标图像。具体地,设备可以基于最远点采样法而选取采集设备的图像采集位置,图像的拍摄方位点距离最远的第一图像作为目标图像。首先,设备可以将每个采集位置/图像拍摄方位看成是一个点,然后从所有“点”中选取一个或多个点形成已选点集,其余点形成未选点集,接着在未选点集中找出一个距离已选点集最远的点,并将其加入到已选点集中,同时将该点从未选点集中删除,迭代处理直到已选点集的点数达到用户指定的数目。而该已选点集中的点对应的第一图像即为需要标注的目标图像。
其中,进行标注时,本实施例中是对目标物体进行粗略性标注,以标注信息为目标物体整体为例,只要标注一个区域,该区域大体包覆该目标物体即可。如标注目标物体的外接矩形,外接圆形,外接三角形等外接图形的信息,具体根据目标物体的实际形状而定外接图形的形状。也可以是标注与目标物体外形近似的包围框,或者直接标注一个能够框选住目标物体的矩形框等,以减小标注难度,提升标注速度。当然,也可以进行细致的标注,本实施例中选择进行粗略标注仅作为一示例。
进一步地,如图2所示,至少基于多个目标图像中的二维标注信息确定目标物体的三维标注信息,包括:
S302:获取每个目标图像相对于目标物体的第一拍摄方位信息;
S303:基于多个目标图像中的二维标注信息和第一拍摄方位信息确定目标物体的三维标注信息。
本实施中在基于二维标注信息确定三维标注信息时,设备需要先获得每个目标图像的第一拍摄方位信息,即采集设备拍摄每个目标图像时的拍摄方位。该信息可以是每个第一图像自动携带,也可以是设备通过与采集设备交互而获得,还可以是设备具有参考图像及对应的参考拍摄方位信息,然后基于该参考图像、参考拍摄方位信息来对各个目标图像进行分析处理,如将目标图像基于参考图像的坐标系进行处理,之后与参考图像及其拍摄方位信息进行计算、比对而确定等,具体获得方式不唯一。当设备获得了每个目标图像的第一拍摄方位信息后,便可基于该第一拍摄方位信息与目标图像中的二维标注信息计算确定出目标物体的三维标注信息。基于该三维标注信息,设备可以得到一个三维结构,目标物体至少位于该三维结构所围空间内,也可与三维结构外形相同。
例如,结合图3所示,该图中以俯视的角度示意了目标物体与不同第一拍摄方位间的位置关系。图中的鞋子为目标物体,其具体大小可以根据二维标注信息来确定,图中的点与三角形表征目标图像的采集位置及姿态,由第一拍摄方位信息确定。从每个点出发向目标物体的投射虚线,使目标物体位于所投射的虚线之间,图中仅示出了两条虚线作为示例。当每个点均引出虚线后可以得到所有虚线的相交区域,具体可以参考图中实线所勾勒的区域,该区域实际为立体区域,而该立体区域限定了目标物体所处空间范围,基于该方法可以得到一个包覆目标物体的立体多面体结构。而该立体多面体结构即为本实施例的由三维标注信息形成的三维结构。
需要说明的是,上述三维标注信息在每个目标图像上的投影,与每个目标图像上的二维标注信息重合。
其中,目标图像越多,或标注的二维标注信息越准确,则该立体多面体结构限定的空间范围就更加精准。但为了避免增加标注工作量,本实施例中综合各因素后,设定目标图像的数量为3-5个,当然也可以根据实际情况提取更多个目标图像,具体不定。
进一步地,如图4所示,在至少基于三维标注信息确定每个第二图像对应的二维标注信息时,包括:
S402:至少确定每个第二图像相对于目标物体的第二拍摄方位信息;
S403:基于第二拍摄方位信息以及三维标注信息确定每个第二图像对应的二维标注信息。
例如,由于每个第二图像的拍摄方位也是不同的,故在设备确定每个第二图像的二维标注信息时,需要先确定每个第二图像的第二拍摄方位信息。接着,基于前述步骤,设备已经获得了包含目标物体的三维标注信息,即获得了一个对应目标图像中二维标注信息的三维结构体。因此,设备便可以结合三维结构体、第二拍摄方位信息来综合确定三维结构体在每个第二图像中的方位信息,即此时三维结构体相对第二图像的方位与目标物体相对第二图像的方位一致,设备可以基于三维结构体相对第二图像的位置关系,及三维结构体的外形数据来对每个第二图像中的目标物体进行自动标注。
具体地,在基于第二拍摄方位信息以及三维标注信息确定每个第二图像对应的二维标注信息,包括:
S404:至少基于第二拍摄方位信息确定每个第二图像与目标物体的投影关系;
S405:基于各个投影关系确定三维标注信息在每个第二图像上的投影;
S406:基于各个投影分别确定每个第二图像对应的二维标注信息。
在本实施例中,如上文所述,基于每个第二拍摄方位信息确定了三维结构体相对每个第二图像的位置关系,也即确定了目标物体相对每个第二图像的位置关系,此时设备便可以基于该位置关系来确定第二图像与目标物体间的投影关系,如确定投影方向,投影位置等。当确定了投影关系后,设备基于投影关系将三维结构体相对第二图像进行投影处理,具体包括将三维结构体的坐标系基于确定的投影方向、投影位置拟合至第二图像所在的坐标系,进而确定三维结构体在第二图像上的坐标系的外形数据,也就是确定三维结构体在第二图像上的投影。第二图像上的目标物体或与该投影完全重合,或位于该投影所在区域内。当确定了分别对应每个第二图像的投影后,设备便可直接基于各投影而自动为对应的第二图像进行二维信息的标注,也就是对各个第二图像上的投影进行二维信息的标注。
或者,也可以基于统一的投影方向,投影位置来对三维结构体进行投影,此时该投影位于第二图像上的方位是与图像中的目标物体的方位不同的,需要调整。而进行调整时,设备便可以基于每个第二图像的第二拍摄方位信息来对各图像上的投影进行方位调整,进而使投影与目标物体所在区域重合,也即使投影对应覆盖目标物体所在区域。
可选地,本实施例中的二维标注信息可以为目标物体的2D包围盒的尺寸信息,三维标注信息可以为目标物体的3D包围盒的尺寸信息,其中3D包围盒在第二图像上的投影与2D包围盒外形相同,例如均为一相同的矩形框。
其中,至少基于三维标注信息确定每个第二图像对应的二维标注信息,包括:
S407:至少基于3D包围盒确定每个第二图像对应的候选2D包围盒;
S408:基于每个候选2D包围盒所围的图像区域分别对应调整各个候选2D包围盒的形状,以得到每个第二图像分别对应的目标2D包围盒。
例如,可以基于上述方法将3D包围盒对第二图像进行投影,基于每个第二图像上的投影便可确定每个第二图像上的候选2D包围盒,该2D包围盒能够包围覆盖第二图像上的目标物体。但是若前期目标图像上对应目标物体的二维标注信息为粗略性标注,那么此时得到的投影、2D包围盒都无法做到恰好包围、覆盖对应图像上的目标物体,也即2D包围盒所围区域不仅包括目标物体,还包括第二图像上的其余图像内容。故为了得到更加精准的,能够恰好包围、覆盖目标物体的目标2D包围盒。本实施例中设备会基于每个候选2D包围盒确定其所围的图像区域,并基于各图像区域进行处理,例如图像识别等处理方式,来确定出目标物体在投影中或2D包围盒中的具体区域,进而基于该具体区域来调整2D包围盒的尺寸,也即调整二维标注信息,使调整后的2D包围盒(二维标注信息)更加准确,与目标物体的尺寸信息更加接近。上述调整不止是对第二图像的二维标注信息进行调整,同时也可对目标图像的二维标注信息进行调整,使所有的第一图像上均具有尺寸更加接近目标物体实际尺寸的二维标注信息。
具体地,为了更加方便,更加快速地对候选2D包围盒进行尺寸调整,使其成为精度更高的目标2D包围盒,本实施例中在基于每个候选2D包围盒所围的图像区域分别对应调整各个候选2D包围盒的形状时,包括:
S409:将每个候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个候选2D包围盒的形状。
例如,实际应用中可以采用设备的AI功能实现。具体地,训练后的目标网络例如可以为能够实现本实施例的2D包围盒的尺寸调整的语义分割网络,该语义分割网络自身就具有将图像处理得到像素级的精度的能力,故经训练后可以高效实现本实施例的技术效果。或者,将目标网络选择为显著性目标检测网络,其与语义分割网络类似,显著性目标检测网络也具有像素级的图像处理精度,同时该网络还能够将图像内容分为背景和具有显著性的前景两部分,故基于该显著性目标检测网络进行训练,训练出的网络泛化能力较语义分割网络更好。因为本实施例中目标物体在候选2D包围盒所围图像中的占比较大,具有显著性,故该网络通过训练后能够更加轻松快速地确定出候选2D包围盒所围图像区域中的目标物体及背景。
因此,本实施例中是优选将显著性目标网络作为目标网络进行训练,以使其能够基于候选2D包围盒所围图像区域处理得到精确的目标2D包围盒。实际应用时,设备可以将每个目标图像,第二图像中基于候选2D包围盒(二维标注信息)确定的图像区域输入至训练后的显著性目标网络中,由显著性目标网络对接收的图像数据进行处理,得到每个图像的目标物体的具体区域,接着便可基于该具体区域确定出准确的目标2D包围盒。
如图5所示,本申请另一实施例同时提供一种图像标注装置,其中,包括:
获得模块,用于获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;
提取模块,用于自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;
第一确定模块,用于至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;
第二确定模块,用于至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。
作为一可选实施例,所述二维标注信息为2D包围盒,所述三维标注信息为3D包围盒,其中,至少基于所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述3D包围盒确定每个所述第二图像对应的候选2D包围盒;
基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,以得到每个所述第二图像分别对应的目标2D包围盒。
作为一可选实施例,所述基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,包括:
将每个所述候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个所述候选2D包围盒的形状。
作为一可选实施例,所述装置还包括:
接收模块,用于接收标注指令,所述标注指令用于对所述多个第一图像中的至少一个进行标注;
确定模块,用于将被标注的所述第一图像确定为所述目标图像。
作为一可选实施例,所述至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息,包括:
获取每个所述目标图像相对于所述目标物体的第一拍摄方位信息;
基于所述多个目标图像中的二维标注信息和所述第一拍摄方位信息确定所述目标物体的三维标注信息。
作为一可选实施例,至少基于所述三维标注信息确定每个第二图像对应的二维标注信息,包括:
至少确定每个所述第二图像相对于所述目标物体的第二拍摄方位信息;
基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息。
作为一可选实施例,所述基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述第二拍摄方位信息确定每个所述第二图像与所述目标物的投影关系;
基于各个所述投影关系确定所述三维标注信息在每个所述第二图像上的投影;
基于各个所述投影分别确定每个所述第二图像对应的二维标注信息。
本申请另一实施例还提供一种电子设备,包括:
一个或多个处理器;
存储器,配置为存储一个或多个程序;
当该一个或多个程序被该一个或多个处理器执行时,使得该一个或多个处理器实现上述图像标注方法。
本申请一实施例还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的图像标注方法。应理解,本实施例中的各个方案具有上述方法实施例中对应的技术效果,此处不再赘述。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可读指令,所述计算机可执行指令在被执行时使至少一个处理器执行诸如上文所述实施例中的图像标注方法。应理解,本实施例中的各个方案具有上述方法实施例中对应的技术效果,此处不再赘述。
需要说明的是,本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、天线、光缆、RF等等,或者上述的任意合适的组合。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种图像标注方法,其中,包括:
获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;
自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;
至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;
至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。
2.根据权利要求1所述的方法,其中,所述二维标注信息为2D包围盒,所述三维标注信息为3D包围盒;
至少基于所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述3D包围盒确定每个所述第二图像对应的候选2D包围盒;
基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,以得到每个所述第二图像分别对应的目标2D包围盒。
3.根据权利要求2所述的方法,其中,所述基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,包括:
将每个所述候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个所述候选2D包围盒的形状。
4.根据权利要求3所述的方法,其中,所述方法还包括:
接收标注指令,所述标注指令用于对所述多个第一图像中的至少一个进行标注;
将被标注的所述第一图像确定为所述目标图像。
5.根据权利要求1所述的方法,其中,所述至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息,包括:
获取每个所述目标图像相对于所述目标物体的第一拍摄方位信息;
基于所述多个目标图像中的二维标注信息和所述第一拍摄方位信息确定所述目标物体的三维标注信息。
6.根据权利要求1所述的方法,其中,至少基于所述三维标注信息确定每个第二图像对应的二维标注信息,包括:
至少确定每个所述第二图像相对于所述目标物体的第二拍摄方位信息;
基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息。
7.根据权利要求6所述的方法,其中,所述基于所述第二拍摄方位信息以及所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述第二拍摄方位信息确定每个所述第二图像与所述目标物的投影关系;
基于各个所述投影关系确定所述三维标注信息在每个所述第二图像上的投影;
基于各个所述投影分别确定每个所述第二图像对应的二维标注信息。
8.一种图像标注装置,其中,包括:
获得模块,用于获得多个包含目标物体的第一图像,所述多个第一图像之间至少拍摄方位不同;
提取模块,用于自所述多个第一图像中提取多个目标图像,所述多个目标图像中具有针对所述目标物体的二维标注信息;
第一确定模块,用于至少基于所述多个目标图像中的二维标注信息确定所述目标物体的三维标注信息;
第二确定模块,用于至少基于所述三维标注信息确定每个第二图像中所述目标物体对应的二维标注信息,所述第二图像为未标注的所述第一图像。
9.根据权利要求8所述的装置,其中,所述二维标注信息为2D包围盒,所述三维标注信息为3D包围盒;
至少基于所述三维标注信息确定每个所述第二图像对应的二维标注信息,包括:
至少基于所述3D包围盒确定每个所述第二图像对应的候选2D包围盒;
基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,以得到每个所述第二图像分别对应的目标2D包围盒。
10.根据权利要求9所述的装置,其中,所述基于每个所述候选2D包围盒所围的图像区域分别对应调整各个所述候选2D包围盒的形状,包括:
将每个所述候选2D包围盒所围的图像区域输入至训练得到的目标网络中,以分别对应调整各个所述候选2D包围盒的形状。
CN202210692900.1A 2022-06-17 2022-06-17 一种图像标注方法及装置 Pending CN115223024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210692900.1A CN115223024A (zh) 2022-06-17 2022-06-17 一种图像标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210692900.1A CN115223024A (zh) 2022-06-17 2022-06-17 一种图像标注方法及装置

Publications (1)

Publication Number Publication Date
CN115223024A true CN115223024A (zh) 2022-10-21

Family

ID=83607786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210692900.1A Pending CN115223024A (zh) 2022-06-17 2022-06-17 一种图像标注方法及装置

Country Status (1)

Country Link
CN (1) CN115223024A (zh)

Similar Documents

Publication Publication Date Title
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
JP7118244B2 (ja) グラフィックコード認識方法及び装置、並びに、端末及びプログラム
Liang et al. Image based localization in indoor environments
CN109387186B (zh) 测绘信息获取方法、装置、电子设备及存储介质
EP4102458A1 (en) Method and apparatus for identifying scene contour, and computer-readable medium and electronic device
US7554575B2 (en) Fast imaging system calibration
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN113910224B (zh) 机器人跟随的方法、装置及电子设备
CN109949414A (zh) 室内地图的构建方法及装置
CN108597034B (zh) 用于生成信息的方法和装置
CN111340960A (zh) 图像的建模方法、装置、存储介质和电子设备
JP2020201922A (ja) 拡張現実アプリケーションに関するシステム及び方法
JP2023523745A (ja) コンピュータビジョンに基づく文字列認識方法、装置、機器及び媒体
CN111527375B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
CN103327251B (zh) 一种多媒体拍摄处理方法、装置及终端设备
CN111105351A (zh) 一种视频序列影像拼接方法及装置
CN110928959A (zh) 一种实体之间关系特征信息的确定方法、装置、电子设备及存储介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN112446898A (zh) 基于车路协同的定位方法、装置、设备、系统及存储介质
CN112270242A (zh) 轨迹的显示方法、装置、可读介质和电子设备
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
CN109816791B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination