CN113793250A - 位姿评价方法、位姿确定方法、对应装置和电子设备 - Google Patents

位姿评价方法、位姿确定方法、对应装置和电子设备 Download PDF

Info

Publication number
CN113793250A
CN113793250A CN202110931976.0A CN202110931976A CN113793250A CN 113793250 A CN113793250 A CN 113793250A CN 202110931976 A CN202110931976 A CN 202110931976A CN 113793250 A CN113793250 A CN 113793250A
Authority
CN
China
Prior art keywords
pose
image
confidence
target object
convex hull
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110931976.0A
Other languages
English (en)
Other versions
CN113793250B (zh
Inventor
冯洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110931976.0A priority Critical patent/CN113793250B/zh
Publication of CN113793250A publication Critical patent/CN113793250A/zh
Application granted granted Critical
Publication of CN113793250B publication Critical patent/CN113793250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种位姿评价方法、位姿确定方法、对应装置和电子设备,该方法的一具体实施方式包括:获取待处理图像;所述待处理图像包括目标对象的图像;根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。该方法可以计算估计位姿的置信度,以能够根据得到的置信度对估计位姿进行评价,确定出较为准确的目标位姿。

Description

位姿评价方法、位姿确定方法、对应装置和电子设备
技术领域
本申请涉及图像处理领域,具体而言,涉及一种位姿评价方法、位姿确定方法、对应装置和电子设备。
背景技术
在图像处理领域中,准确获得物体的位姿信息是必要的,确定出的物体位姿可以用于增强现实、无人驾驶等领域。
相关技术中存在以下获得物体位姿的方法:(1)首先在待处理图像中检测目标对象的二维关键点,然后确定目标对象的三维模型所对应的多个三维模型点在待处理图像中的投影点,最后可以基于多个投影点与对应二维关键点之间最小的重投影误差得到目标对象的位姿参数;(2)利用神经网络模型回归出对象的位姿参数和置信度。但是利用上述方法(1)得到位姿参数时,存在重投影误差很小,但是该位姿参数与实际位姿不匹配的问题;利用上述方法(2)得到的置信度存在误差。因此,上述两种方法均不能较为准确地评价位姿参数。
发明内容
本申请实施例的目的在于提供一种位姿评价方法、位姿确定方法、对应装置和电子设备,用以计算估计位姿的置信度,以能够根据得到的置信度对估计位姿进行评价,确定出较为准确的目标位姿。
第一方面,本申请实施例提供了一种位姿估计方法,该方法包括:获取待处理图像;所述待处理图像包括目标对象的图像;根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。这样,可以计算出估计位姿的置信度,以能够较为准确地对估计位姿进行评价。
可选地,所述基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,包括:在所述待处理图像中,确定所述目标对象的轮廓多边型;所述轮廓多边形表征所述目标对象的轮廓线所组成的多边形;计算所述轮廓多边形与所述凸包之间的贴合程度,并将所述贴合程度确定为所述置信度。这里,提供了一种计算置信度的实施方式,计算得到的置信度可以较为准确地评价估计位姿。
可选地,所述基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,包括:确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度;以及确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度;基于所述第一贴合程度和所述第二贴合程度,计算所述置信度。这样,可以基于确定的第一贴合程度和第二贴合程度计算估计位姿的置信度,在有效节约了成本投入的基础上,可以得到较为准确的置信度。
可选地,所述确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度,包括:确定所述投影点的凸包与所述对象最小外接矩形之间的第一交集部分;利用所述第一交集部分与所述投影点的凸包之间的第一面积比值表征所述第一贴合程度;以及所述确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度,包括:确定所述凸包最小外接矩形与所述对象最小外接矩形之间的第二交集部分;确定所述凸包最小外接矩形与所述对象最小外接矩形之间的并集部分;利用所述第二交集部分与所述并集部分之间的第二面积比值表征所述第二贴合程度;以及所述基于所述第一贴合程度和所述第二贴合程度,确定所述置信度,包括:基于所述第一面积比值和所述第二面积比值,计算所述置信度。这里,提供了一种基于第一贴合程度和第二贴合程度计算置信度的实施方式。
可选地,基于所述第一面积比值和所述第二面积比值,计算所述置信度,包括:将所述第一面积比值和所述第二面积比值相乘,计算所述置信度,以得到置信度的具体数值。
可选地,所述对象最小外接矩形通过目标检测算法检测所述待处理图像而在线得到;或者通过对所述目标对象进行标注而离线得到。这样,在具体应用时,可以根据实际情况得到对象最小外接矩形。
第二方面,本申请实施例提供了一种位姿确定方法,该方法包括:获取估计位姿的置信度;所述置信度通过如第一方面中所述的位姿评价方法计算得到;在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
可选地,所述在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿,包括:在检测到所述置信度对应的数值大于置信度阈值时,将所述估计位姿确定为所述目标对象的目标位姿。这里,提供了一种可以将估计位姿确定为目标位姿的实施方式。
第三方面,本申请实施例提供了一种位姿评价装置,该装置包括:第一获取模块,用于获取待处理图像;所述待处理图像包括目标对象的图像;第二获取模块,用于根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;第一确定模块,用于确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;计算模块,用于基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
第四方面,本申请实施例提供了一种位姿确定装置,该装置包括:第三获取模块,用于获取估计位姿的置信度;所述置信度通过如第三方面所述的位姿评价装置得到;第二确定模块,用于在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
第五方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第六方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种位姿评价方法的流程图;
图2为本申请实施例涉及的一个应用场景的示意图;
图3为本申请实施例提供的另一种位姿评价方法的流程图;
图4为本申请实施例提供的一种位姿确定方法的流程图;
图5为本申请实施例提供的一种位姿评价装置的结构框图;
图6为本申请实施例提供的一种位姿确定装置的结构框图;
图7为本申请实施例提供的一种用于执行位姿评价方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
相关技术中,存在不能准确评价估计出的位姿参数是否可信的问题;为了解决该问题,本申请提供一种位姿评价方法;进一步地,该位姿评价方法通过确定出目标对象的目标模型在待处理图像上的投影点的凸包,并利用该凸包与目标对象的图像,计算出估计位姿的置信度,以能够利用该置信度去评价估计位姿是否可信。这样,投影点的凸包是根据目标模型在估计位姿下投影在待处理图像上得到的,如果估计位姿与目标对象在待处理图像被拍摄时刻的实际位姿相同,那么投影点的凸包应当和目标对象的图像边缘重合。所以利用本申请得到的置信度可以较为准确地对估计位姿进行评价,从而解决了上述问题。在实践中,上述位姿评价方法可以应用于诸如车辆、无人机等对应的位姿估计过程中,以对估计位姿进行评价。示例性地,本申请实施例中以应用于车辆的位姿估计过程为例阐述该位姿评价方法。也即,上述目标对象可以包括目标车辆。
以上相关技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
请参考图1,其示出了本申请实施例提供的一种位姿评价方法的流程图。如图1所示,该位姿评价方法可以包括以下步骤101至步骤104。
步骤101,获取待处理图像;所述待处理图像包括目标对象的图像;
上述目标对象例如可以包括目标货车、目标面包车、目标轿车等。
在一些应用场景中,可以通过诸如相机拍摄或者截取目标视频中的目标图像等方式获取到待处理图像。待处理图像中可以包括目标对象的图像,也可以包括其他对象的图像。
步骤102,根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;
获取到待处理图像之后,可以进一步获取目标对象所对应的目标模型。在一些应用场景中,上述目标模型例如可以通过识别待处理图像的目标车辆之后,在预设模型库中匹配得到。上述预设模型库例如可以包括诸如面包车、小轿车、货车等分别对应的车辆模型,这些车辆模型的车辆参数例如可以包括从厂家或者市场经验获取到。例如,货车的车辆参数可以包括高度为2.5米,长度为9米,宽度为2.3米,以及货车上诸如车标、车牌、后视镜等关键点之间的相对位置关系等。在这些应用场景中,可以通过识别待处理图像中的目标车辆得到与该目标车辆对应的目标模型,继而通过目标模型可以确定出目标车辆的长度、宽度、高度以及各个模型点之间的相对位置关系等信息。
在一些应用场景中,可以进一步获取目标对象在待处理图像的拍摄时刻所对应的估计位姿。上述估计位姿可以利用目标对象在实际应用场景中的位姿参数表征。这里的位姿参数例如可以通过目标对象在世界坐标系下的坐标信息(x,y,z)表征。进一步的,上述坐标参数“x”、“y”、“z”可以为在该世界坐标系下对应的任意值,其中,“x”可以表征横轴坐标信息、“y”可以表征竖轴坐标信息、“z”可以表征纵轴坐标信息。在这些应用场景中,估计位姿例如可以通过像素级投票网络(Pixel-wise Voting Network,简称PVNet)得到。
步骤103,确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包目标模型;
确定出目标对象所对应的目标模型之后,可以确定目标模型上的多个模型点在估计位姿下投影在待处理图像上的多个投影点。在一些应用场景中,例如可以选取组成目标模型的轮廓的多个模型点,并可以将选取的多个模型点投影到待处理图像上,以得到对应的多个投影点。在另一些应用场景中,可以选取尽可能多的模型点,以利于确定出更加准确的投影点的凸包。在另一些应用场景中,也可以基于在待处理图像中检测到的多个二维关键点,选取与这些二维关键点对应的模型点进行投影。这里的二维关键点可以用于表征目标对象在实际应用场景中的位置。
在一些应用场景中,确定出多个模型点之后,可以基于投影公式确定出这些模型点在待处理图像中的投影点。这里的投影公式例如可以包括:
Figure BDA0003211262210000081
其中,λ为尺度因子,
Figure BDA0003211262210000082
为相机的内参数矩阵,
Figure BDA0003211262210000083
为相机的外参数矩阵,X、Y、Z为模型点的坐标参数,u、v为投影点的像素坐标参数,u0、v0是图像平面的中心。在这些应用场景中,尺度因子、相机的内部参数以及外部参数可以视为已知量,其可以利用现有技术得到,此处不赘述。
得到多个投影点之后,可以确定上述投影点的凸包。也即,基于多个投影点,确定出最外层投影点连接起来构成的凸多边形可以视为上述投影点的凸包。例如,在图2所示的车辆应用场景示意图中,若得到多个投影点1,可以确定出对应的投影点的凸包2。
步骤104,基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
在一些应用场景中,在确定了投影点的凸包之后,可以基于该投影点的凸包与目标对象的图像,计算估计位姿的置信度。
上述置信度可以视为能够将估计位姿视为目标对象在待处理图像被拍摄时刻的实际位姿的可信度。
上述目标对象的图像可以视为在待处理图像中,目标对象所占据的图像区域呈现出的图像。例如,待处理图像中包括路面和目标车辆A,此时,可以将目标车辆A所占据的图像区域视为目标对象的图像。
通过上述步骤101至步骤104,可以计算出估计位姿的置信度,以能够较为准确地对估计位姿进行评价。
在一些可选的实现方式中,所述步骤104可以包括:在所述待处理图像中,确定所述目标对象的轮廓多边型;所述轮廓多边形表征所述目标对象的轮廓线所组成的多边形;计算所述轮廓多边形与所述凸包之间的贴合程度,并将所述贴合程度确定为所述置信度。
相关技术中,若估计位姿与实际位姿相同,则投影点的凸包与目标对象的轮廓线所组成的多边形应当是重合的。因此,可以用投影点的凸包与目标对象的轮廓多边形之间的贴合程度对估计位姿进行评价。
在一些应用场景中,轮廓多边形与凸包之间的贴合程度例如可以通过确定投影点的凸包上的投影点与轮廓线上对应的轮廓点之间的直线距离确定。
在这些应用场景中,轮廓线可以基于人工标注得到,在投影点的凸包确定的情况下,可以在离线状态下计算出置信度。在另一些应用场景中,轮廓线也可以通过诸如边缘检测算法在线检测出来。因此,也可以在在线状态下计算出置信度。
在一些应用场景中,由于凸包上的投影点均已经确定,因此也可以通过诸如逐一将投影点与对应的二维关键点进行点到点的位置对比,以确定出估计位姿的置信度。
在一些可选的实现方式中,请参考图3,其示出了本申请实施例提供的另一种位姿评价方法的流程图。如图3所示,该位姿评价方法可以包括以下步骤301至步骤305。
步骤301,获取待处理图像;所述待处理图像包括目标对象的图像;
上述步骤301的实现过程以及取得的技术效果可以与图1所示实施例的步骤101相同或相似,此处不赘述。
步骤302,根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿。
上述步骤302的实现过程以及取得的技术效果可以与图1所示实施例的步骤102相同或相似,此处不赘述。
步骤303,确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;
上述步骤303的实现过程以及取得的技术效果可以与图1所示实施例的步骤103相同或相似,此处不赘述。
步骤304,确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度;以及确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度;
在一些应用场景中,所述对象最小外接矩形通过目标检测算法检测所述待处理图像而在线得到;或者通过对所述目标对象进行标注而离线得到。
也即,上述对象最小外接矩形可以通过目标检测算法(例如,循环神经网络“RNN”)检测得到。在另一些应用场景中,上述对象最小外接矩形也可以通过人工对目标对象进行标注得到。
如前所述,若估计位姿与实际位姿相同,则投影点的凸包与目标对象的轮廓多边形应当是重合的。而目标对象的轮廓多边形必然包含于对象最小外接矩形内。因此,也可以基于投影点的凸包与对象最小外接矩形之间的第一贴合程度计算置信度。
进一步地,在相关技术中,标注目标对象的轮廓多边形的成本较高,并且在检测该轮廓多边形时也需要耗费较多的时间成本。因此,为了节约成本,也可以利用投影点的凸包与目标对象所对应的对象最小外接矩形之间的第一贴合程度计算置信度。
在一些应用场景中,如果仅利用第一贴合程度对估计位姿进行评价,可能存在投影点的凸包偏小的问题。因此,为了进一步评价估计位姿的准确性,可以进一步确定上述第二贴合程度。这里,导致投影点的凸包偏小的原因例如可以包括在获取待处理图像时,相机位置与目标对象之间的距离较远。
在这些应用场景中,投影点的凸包同样必然包含于凸包最小外接矩形内。因此,可以基于投影点的凸包得到凸包最小外接矩形,以能够利用该凸包最小外接矩形与对象最小外接矩形之间的第二贴合程度对估计位姿进行评价。例如,在图2所示的车辆应用场景示意图中,得到投影点的凸包2之后,可以得到该投影点的凸包2所对应的凸包最小外接矩形3。并且可以检测到车辆所对应的车辆最小外接矩形4。因此,上述第一贴合程度例如可以包括投影点的凸包2与车辆最小外接矩形4之间的贴合程度;上述第二贴合程度例如可以包括凸包最小外接矩形3与车辆最小外接矩形4之间的贴合程度。
步骤305,基于所述第一贴合程度和所述第二贴合程度,计算所述置信度。
确定了第一贴合程度和第二贴合程度之后,可以基于这两者对估计位姿进行评价。
在一些应用场景中,例如可以为第一贴合程度和第二贴合程度分配不同的权重,然后基于各自对应的权重计算置信度。例如,可以为第一贴合程度分配权重系数0.6,为第二贴合程度分配权重系数0.4,这样在确定了第一贴合程度和第二贴合程度之后,可以将其分别与对应的权重系数进行运算,得到综合贴合程度,这里的综合贴合程度可以视为基于第一贴合程度和第二贴合程度计算得到的置信度。
通过上述步骤301至步骤305,可以基于确定的第一贴合程度和第二贴合程度计算估计位姿的置信度,在有效节约了成本投入的基础上,可以得到估计位姿较为准确的置信度。
在一些可选的实现方式中,上述步骤304可以包括以下子步骤:
子步骤3041,确定所述投影点的凸包与所述对象最小外接矩形之间的第一交集部分;
在一些应用场景中,在确定第一贴合程度时,可以先确定出投影点的凸包与对象最小外接矩形之间的第一交集部分。例如在图2所示的车辆应用场景示意图中,投影点的凸包2所占据的图像部分可以视为上述第一交集部分。这里,在另一些车辆应用场景中,投影点的凸包2的面积可以大于车辆最小外接矩形4的面积,此时,可以将车辆最小外接矩形4所占据的图像部分视为上述第一交集部分。
子步骤3042,利用所述第一交集部分与所述投影点的凸包之间的第一面积比值表征所述第一贴合程度;
确定了第一交集部分之后,可以确定该第一交集部分与投影点的凸包之间的第一面积比值,以利用该第一面积比值表征第一贴合程度。在一些应用场景中,确定出的第一交集部分可以视为在待处理图像中目标对象所对应的轮廓部分。继而,可以通过第一交集部分与投影点的凸包之间的第一面积比值表征第一贴合程度。
在一些可选的实现方式中,例如可以基于如下公式确定所述第一面积比值:
Figure BDA0003211262210000121
其中,IOA表示所述第一面积比值,CP表示所述投影点的凸包的面积,CP∩D表示所述第一交集部分的面积。这样,可以利用上述公式计算得到第一面积比值,以便于将第一贴合程度数值化,方便后续对估计位姿的评价。
子步骤3043,确定所述凸包最小外接矩形与所述对象最小外接矩形之间的第二交集部分;
在一些应用场景中,在确定第二贴合程度时,可以先确定出凸包最小外接矩形与对象最小外接矩形之间的第二交集部分。例如,在图2所示的车辆应用场景示意图中,凸包最小外接矩形3所占据的图像部分可以视为上述第二交集部分。这里,在另一些车辆应用场景中,凸包最小外接矩形3的面积可以大于车辆最小外接矩形4的面积,此时,可以将车辆最小外接矩形4所占据的图像部分视为上述第二交集部分。
子步骤3044,确定所述凸包最小外接矩形与所述对象最小外接矩形之间的并集部分;
确定了第二交集部分之后,可以进一步确定出凸包最小外接矩形与对象最小外接矩形之间的并集部分。例如,在图2所示的车辆应用场景示意图中,车辆最小外接矩形4所占据的图像部分可以视为上述并集部分。这里,在另一些车辆应用场景中,车辆最小外接矩形4的面积可以小于凸包最小外接矩形3的面积,此时,可以将凸包最小外接矩形3所占据的图像部分视为上述并集部分。
子步骤3045,利用所述第二交集部分与所述并集部分之间的第二面积比值表征所述第二贴合程度;
在一些应用场景中,得到第二交集部分以及并集部分之后,可以将两者的面积作商,以得到上述第二面积比值。在这些应用场景中,为了避免由于诸如投影点的凸包整体偏小而导致置信度不准确的情况,可以在确定了第二交集部分和并集部分之后,基于两者之间的第二面积比值表征第二贴合程度,以确定凸包最小外接矩形与对象最小外接矩形是否贴合。
在一些可选的实现方式中,可以基于如下公式确定所述第二面积之比:IOU=(BP∩D)/(BP∪D),其中,IOU表征所述第二面积比值,BP∩D表示所述第二交集部分的面积,BP∪D表示所述并集部分的面积。这样,可以利用上述公式计算得到第二面积比值,以便于将第二贴合程度数值化,方便后续计算置信度。
这样,上述步骤305可以包括子步骤3051:基于所述第一面积比值和所述第二面积比值,计算所述置信度。
确定第一面积比值和第二面积比值之后,可以基于两者计算出置信度。在一些应用场景中,可以将两者相乘,以得到估计位姿为实际位姿的概率。该概率可以视为上述置信度。
在一些可选的实现方式中,上述子步骤3051可以包括:将所述第一面积比值和所述第二面积比值相乘,计算所述置信度。例如,可以基于如下公式计算所述置信度:S=IOA*IOU;其中,S表示所述置信度。
也就是说,得到第一面积比值和第二面积比值之后,可以将两者相乘,进而可以通过两者分别表征的第一贴合程度和第二贴合程度确定上述置信度。这样,使得利用该置信度评价估计位姿时,可以使得满足评价条件的估计位姿更加贴近于实际位姿。
请参考图4,其示出了本申请实施例提供的一种位姿确定方法的流程图。如图4所示,该位姿确定方法可以包括以下步骤401至步骤402。
步骤401,获取估计位姿的置信度;所述置信度通过例如可以通过上述任一实现方式中所述的位姿评价方法计算得到,此处不赘述;
步骤402,在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
在一些应用场景中,获取到估计位姿的置信度之后,可以检测置信度是否满足评价条件。这里的评价条件例如可以包括构成投影点的凸包上的多个目标投影点与各个目标投影点分别对应的二维关键点之间的直线距离在0.1厘米内、0.2厘米内等。这里的二维关键点可以为在待处理图像中检测到的与目标投影点对应的模型点相对应的关键点。
进一步地,当检测到置信度满足评价条件时,可以视为当前对应的估计位姿与实际位姿较为贴近,继而可以将该估计位姿确定为目标对象的目标位姿。
在一些可选的实现方式中,所述上述步骤402可以包括:在检测到所述置信度对应的数值大于置信度阈值时,将所述估计位姿确定为所述目标对象的目标位姿。
确定了置信度之后,可以判断该置信度对应的数值是否大于评价阈值,并可以在检测到置信度对应的数值大于评价阈值时,将估计位姿确定为目标位姿。上述评价阈值可以包括诸如0.85、0.9等实质上可以表征估计位姿与真实位姿较为贴近的经验值或者试验值,以能够保证满足评价条件的估计位姿与实际位姿较为贴近。
在本实施例中,可以在确定出置信度大于评价阈值时,确定该估计位姿与实际位姿较为贴近。因而可以将估计位姿确定为目标对象的目标位姿。评价过程更加合理化,评价结果的可信度高。
请参考图5,其示出了本申请实施例提供的一种位姿评价装置的结构框图,该位姿评价装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,上述位姿确定装置包括第一获取模块501,第二获取模块502、第一确定模块503以及计算模块504。其中,第一获取模块501,用于获取待处理图像;所述待处理图像包括目标对象的图像;第二获取模块502,用于根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;第一确定模块503,用于确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;计算模块504,用于基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
可选地,所述计算模块504进一步用于:在所述待处理图像中,确定所述目标对象的轮廓多边型;所述轮廓多边形表征所述目标对象的轮廓线所组成的多边形;计算所述轮廓多边形与所述凸包之间的贴合程度,并将所述贴合程度确定为所述置信度。
可选地,所述计算模块504进一步用于:确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度;以及确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度;基于所述第一贴合程度和所述第二贴合程度,计算所述置信度。
可选地,所述计算模块504进一步用于:确定所述投影点的凸包与所述对象最小外接矩形之间的第一交集部分;利用所述第一交集部分与所述投影点的凸包之间的第一面积比值表征所述第一贴合程度;以及所述确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度,包括:确定所述凸包最小外接矩形与所述对象最小外接矩形之间的第二交集部分;确定所述凸包最小外接矩形与所述对象最小外接矩形之间的并集部分;利用所述第二交集部分与所述并集部分之间的第二面积比值表征所述第二贴合程度;以及所述基于所述第一贴合程度和所述第二贴合程度,确定所述置信度,包括:基于所述第一面积比值和所述第二面积比值,计算所述置信度。
可选地,所述计算模块504进一步用于:将所述第一面积比值和所述第二面积比值相乘,计算所述置信度。
可选地,所述对象最小外接矩形通过目标检测算法检测所述待处理图像而在线得到;或者通过对所述目标对象进行标注而离线得到。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参考图6,其示出了本申请实施例提供的一种位姿确定装置的结构框图,该位姿确定装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图4方法实施例对应,能够执行图4方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,上述位姿确定装置包括第三获取模块601和第二确定模块602;其中,第三获取模块601,用于获取估计位姿的置信度;所述置信度可以通过如图6所述的位姿评价装置得到;第二确定模块602,用于在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
可选地,所述第二确定模块602进一步用于:在检测到所述置信度对应的数值大于置信度阈值时,将所述估计位姿确定为所述目标对象的目标位姿。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参照图7,图7为本申请实施例提供的一种用于执行位姿评价方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器701,例如CPU,至少一个通信接口702,至少一个存储器703和至少一个通信总线704。其中,通信总线704用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口702用于与其他节点设备进行信令或数据的通信。存储器703可以是高速RAM存储器,也可以是非易失性的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器703可选的还可以是至少一个位于远离前述处理器的存储装置。存储器703中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器701执行时,电子设备例如可以执行上述图1所示方法过程。
可以理解,图7所示的结构仅为示意,所述电子设备还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,可以执行如图1所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,该方法可以包括:获取待处理图像;所述待处理图像包括目标对象的图像;根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种位姿评价方法,其特征在于,包括:
获取待处理图像;所述待处理图像包括目标对象的图像;
根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;
确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;
基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
2.根据权利要求1所述的方法,其特征在于,所述基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,包括:
在所述待处理图像中,确定所述目标对象的轮廓多边型;所述轮廓多边形表征所述目标对象的轮廓线所组成的多边形;
计算所述轮廓多边形与所述凸包之间的贴合程度,并将所述贴合程度确定为所述置信度。
3.根据权利要求1所述的方法,其特征在于,所述基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,包括:
确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度;以及
确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度;
基于所述第一贴合程度和所述第二贴合程度,计算所述置信度。
4.根据权利要求3所述的方法,其特征在于,所述确定所述投影点的凸包与所述目标对象所对应的对象最小外接矩形之间的第一贴合程度,包括:
确定所述投影点的凸包与所述对象最小外接矩形之间的第一交集部分;
利用所述第一交集部分与所述投影点的凸包之间的第一面积比值表征所述第一贴合程度;以及
所述确定所述投影点的凸包所对应的凸包最小外接矩形与所述对象最小外接矩形之间的第二贴合程度,包括:
确定所述凸包最小外接矩形与所述对象最小外接矩形之间的第二交集部分;
确定所述凸包最小外接矩形与所述对象最小外接矩形之间的并集部分;
利用所述第二交集部分与所述并集部分之间的第二面积比值表征所述第二贴合程度;以及
所述基于所述第一贴合程度和所述第二贴合程度,确定所述置信度,包括:
基于所述第一面积比值和所述第二面积比值,计算所述置信度。
5.根据权利要求4所述的方法,其特征在于,基于所述第一面积比值和所述第二面积比值,计算所述置信度,包括:
将所述第一面积比值和所述第二面积比值相乘,计算所述置信度。
6.根据权利要求3-5任一项所述的方法,其特征在于,所述对象最小外接矩形通过目标检测算法检测所述待处理图像而在线得到;或者通过对所述目标对象进行标注而离线得到。
7.一种位姿确定方法,其特征在于,包括:
获取估计位姿的置信度;所述置信度通过如权利要求1-6任一项中所述的位姿评价方法计算得到;
在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
8.根据权利要求7所述的方法,其特征在于,所述在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿,包括:
在检测到所述置信度对应的数值大于置信度阈值时,将所述估计位姿确定为所述目标对象的目标位姿。
9.一种位姿评价装置,其特征在于,包括:
第一获取模块,用于获取待处理图像;所述待处理图像包括目标对象的图像;
第二获取模块,用于根据所述待处理图像,获取所述目标对象所对应的目标模型、以及所述目标对象在所述待处理图像的拍摄时刻所对应的估计位姿;
第一确定模块,用于确定所述目标模型在所述估计位姿下投影在所述待处理图像上的投影点的凸包;
计算模块,用于基于所述投影点的凸包以及所述目标对象的图像,计算所述估计位姿的置信度,以根据所述置信度评价所述估计位姿。
10.一种位姿确定装置,其特征在于,包括:
第三获取模块,用于获取估计位姿的置信度;所述置信度通过如权利要求9所述的位姿评价装置得到;
第二确定模块,用于在检测到所述置信度满足评价条件时,将所述估计位姿确定为所述目标对象的目标位姿。
11.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-6或者7-8任一所述的方法。
12.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-6或者7-8任一所述的方法。
CN202110931976.0A 2021-08-13 2021-08-13 位姿评价方法、位姿确定方法、对应装置和电子设备 Active CN113793250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931976.0A CN113793250B (zh) 2021-08-13 2021-08-13 位姿评价方法、位姿确定方法、对应装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931976.0A CN113793250B (zh) 2021-08-13 2021-08-13 位姿评价方法、位姿确定方法、对应装置和电子设备

Publications (2)

Publication Number Publication Date
CN113793250A true CN113793250A (zh) 2021-12-14
CN113793250B CN113793250B (zh) 2024-09-06

Family

ID=79181804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931976.0A Active CN113793250B (zh) 2021-08-13 2021-08-13 位姿评价方法、位姿确定方法、对应装置和电子设备

Country Status (1)

Country Link
CN (1) CN113793250B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115704A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 确定汽车位姿信息的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318552A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包投影图匹配的模型配准方法
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
US20200242331A1 (en) * 2019-01-28 2020-07-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for acquiring 3d information of object
CN111626105A (zh) * 2020-04-15 2020-09-04 南京旷云科技有限公司 姿态估计方法、装置及电子设备
CN112444242A (zh) * 2019-08-31 2021-03-05 北京地平线机器人技术研发有限公司 一种位姿优化方法及装置
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318552A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包投影图匹配的模型配准方法
US20200242331A1 (en) * 2019-01-28 2020-07-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for acquiring 3d information of object
CN112444242A (zh) * 2019-08-31 2021-03-05 北京地平线机器人技术研发有限公司 一种位姿优化方法及装置
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111626105A (zh) * 2020-04-15 2020-09-04 南京旷云科技有限公司 姿态估计方法、装置及电子设备
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIE XU ETC.: "3D pose estimation for bin-picking task using convex hull", 2012 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION, 27 August 2012 (2012-08-27) *
李艳焕 等: "一种新的影像位姿直接估计方法", 测绘通报, no. 6, 25 June 2017 (2017-06-25) *
王健强;吕游;: "一种面向工业机器人智能抓取的视觉引导技术研究", 机械设计与制造, no. 09, 8 September 2009 (2009-09-08) *
王彬 等: "采用多站图像直线特征的飞机姿态估计", 光学精密工程, vol. 21, no. 7, 31 July 2013 (2013-07-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115704A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 确定汽车位姿信息的方法及装置

Also Published As

Publication number Publication date
CN113793250B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN113793297B (zh) 位姿确定方法、装置、电子设备及可读存储介质
Wang et al. Robust road modeling and tracking using condensation
KR20190069457A (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
CN111462249B (zh) 一种交通摄像头标定方法及装置
García et al. Driver monitoring based on low-cost 3-D sensors
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN116310799A (zh) 语义信息与几何约束相结合的动态特征点剔除方法
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN113793250B (zh) 位姿评价方法、位姿确定方法、对应装置和电子设备
Santos et al. Car recognition based on back lights and rear view features
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN113887384B (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质
Lam et al. Vehicle-component identification based on multiscale textural couriers
US20220245860A1 (en) Annotation of two-dimensional images
CN117218171A (zh) 深度估计模型优化与物体距离检测方法及相关设备
CN112927338A (zh) 基于三维轮廓的仿真方法、存储介质及计算机设备
CN111765892A (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN118397588B (zh) 智能驾驶汽车用摄像头场景分析方法、系统、设备及介质
US20240005535A1 (en) Method for training an image depth recognition model, method for recognizing image depth, and electronic device
CN118052872A (zh) 融合深度视觉约束的视觉里程计方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant