CN112102391A

CN112102391A - 测量方法及装置、电子设备及存储介质

Info

Publication number: CN112102391A
Application number: CN202010899128.1A
Authority: CN
Inventors: 周杨; 赵梦彪; 刘文韬; 钱晨
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-18

Abstract

本申请公开了一种测量方法及装置、电子设备及存储介质。该方法包括：获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面；所述第一面为二维图像中待测量物体的上底面；所述二维图像通过二维成像设备采集得到，所述第一相机坐标系为所述二维成像设备的相机坐标系；所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面；所述第一点或为所述待测量物体的下底面所属平面中除所述第一类点之外的点；所述第一类点包括所述下底面中的点；确定所述第一像点到所述第一投影平面的距离，得到第一距离；依据所述第一距离，得到所述待测量物体的高度。

Description

测量方法及装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种测量方法及装置、电子设备及存储介质。

背景技术

在日常生活中，人们经常需要测量物体的尺寸。传统方法中，人们通常使用长度测量工具(如卷尺、直尺、游标卡尺)测量物体的尺寸。但这种传统测量方法对测量者而言，既耗时又耗力，测量效率低。因此，如何高效、准确测量物体的尺寸具有非常重要的意义。

发明内容

本申请提供一种测量方法及装置、电子设备及存储介质。

第一方面，提供了一种测量方法，所述方法包括：

获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面；所述第一面为二维图像中待测量物体的上底面；所述二维图像通过二维成像设备采集得到，所述第一相机坐标系为所述二维成像设备的相机坐标系；所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面；所述第一点或为所述待测量物体的下底面所属平面中除所述第一类点之外的点；所述第一类点包括所述下底面中的点；

确定所述第一像点到所述第一投影平面的距离，得到第一距离；

依据所述第一距离，得到所述待测量物体的高度。

结合本申请任一实施方式，在所述获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面之前，所述方法还包括：

获取所述二维图像、所述二维图像的深度图和所述二维成像设备的内部参数；

从所述深度图中获取所述上底面中至少三个第二点的深度值；

依据所述内部参数、所述至少三个第二点的深度值和所述至少三个第二点在所述二维图像的像素坐标系下的坐标，得到所述至少三个第二点在所述第一相机坐标系下的像点；

对所述至少三个第二点在所述第一相机坐标系下的像点进行平面拟合处理，得到所述第一投影平面。

结合本申请任一实施方式，在所述第一点为所述待测量物体的下底面所属平面中除所述第一类点之外的点的情况下，所述下底面包括第一角点和与所述第一角点相邻的第二角点；

在所述确定所述第一像点到所述第一投影平面的距离，得到第一距离之前，所述方法还包括：

确定第一线段与第二线段之间的像素点区域，作为第一待选区域；所述第一线段为过所述第一角点和所述第二角点的线段；所述第二线段为所述二维图像中与所述二维图像的像素坐标系的横轴平行、且纵坐标最大的边；

从所述第一待选区域选取一个点作为所述第一点。

结合本申请任一实施方式，所述从所述第一待选区域选取一个点作为所述第一点，包括：

在所述第一线段位于所述待测量物体的正面的情况下，确定过所述第一线段的中点且与所述像素坐标系的纵轴平行的直线，得到第一直线；

从所述第一待选区域中选取位于所述第一直线上的点，作为所述第一点。

结合本申请任一实施方式，所述方法还包括：

在所述第一线段位于所述待测量物体的侧面的情况下，确定过所述第一线段的中点且与所述像素坐标系的横轴平行的直线，得到第二直线；

从所述第一待选区域中选取位于所述第二直线上的点，作为所述第一点。

结合本申请任一实施方式，所述确定第一线段与第二线段之间的像素点区域，作为第一待选区域，包括：

在所述第一线段与所述第二线段之间不存在边缘的情况下，确定所述第一线段与所述第二线段之间的像素点区域，作为所述第一待选区域；

在所述第一线段与所述第二线段之间存在边缘的情况下，确定所述边界边缘与所述第一线段之间的像素点区域为所述第一待选区域。

结合本申请任一实施方式，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述待测量物体还包括侧面，所述侧面的形状为矩形；所述侧面包括：属于所述上底面的第三角点、属于所述下底面的第四角点以及过所述第三角点和所述第四角点的第一对角线；所述第一点属于所述第一对角线；

所述依据所述第一距离，得到所述待测量物体的高度，包括：

确定所述第一距离和第一值的乘积，得到所述待测量物体的高度；所述第一值为第二距离与第三距离的比值；所述第二距离为所述第三角点与所述第一点之间的距离，所述第三距离为所述第三角点与所述第四角点之间的距离。

结合本申请任一实施方式，所述获取第一点在第一相机坐标系下的第一像点，包括：

获取所述第一点的第一深度值；

依据所述内部参数、所述第一深度值和所述第一点在所述二维图像中的坐标，得到所述第一像点。

结合本申请任一实施方式，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述获取所述第一点的第一深度值，包括：

依据所述内部参数、所述侧面中至少三个第三点在所述二维图像中的坐标和从所述深度图中得到的所述至少三个第三点的深度值，得到所述侧面在所述第一相机坐标系下的第二投影平面；

从所述第二投影平面中确定与所述第一点对应的像点，并将与所述第一点对应的像点的深度值作为所述第一深度值。

结合本申请任一实施方式，在所述待测量物体包括第一对角线，所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述第一点为所述第一对角线的中点；所述侧面还包括属于所述上底面、且与所述第一角点不同的第五角点；

确定第四点在所述第一投影平面中的第二像点；所述第四点为所述第三角点与所述第五角点连线的中点；

所述确定所述第一像点到所述第一投影平面的距离，得到第一距离，包括：

确定所述第一像点与所述第二像点之间的距离，作为所述第一距离。

结合本申请任一实施方式，所述上底面包括第六角点和与所述第六角点不同的第七角点；所述至少三个第二点不包括所述第六角点和所述第七角点；所述方法还包括：

从所述第一投影平面中确定与所述第六角点对应的第三像点，以及与所述第七角点对应的第四像点；

确定所述第三像点与所述第四像点之间的距离，作为所述第六角点与所述第七角点之间的距离。

结合本申请任一实施方式，所述从所述第一投影平面中确定与所述第六角点对应的第三像点，以及与所述第七角点对应的第四像点，包括：

获取过所述第六角点和所述二维成像设备的光心的第一直线，以及过所述第七角点和所述光心的第二直线；

确定所述第一直线与所述第一投影平面之间的交点得到所述第三像点，确定所述第二直线与所述第一投影平面之间的交点得到所述第四像点。

结合本申请任一实施方式，所述获取过所述第六角点和所述二维成像设备的光心的第一直线，以及过所述第七角点和所述光心的第二直线，包括：

获取所述第六角点在所述二维成像设备的图像坐标系下的第一坐标、所述第七角点在所述图像坐标系下的第二坐标以及所述二维成像设备的光心在所述第一相机坐标系下的第三坐标；

依据所述第一坐标与所述第三坐标，得到所述第三直线；

依据所述第二坐标与所述第三坐标，得到所述第四直线。

结合本申请任一实施方式，所述待测量物体的形状为规则形状或类规则形状。

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于终端；所述终端还包括深度摄像头；所述获取二维图像和所述二维图像的深度图，包括：

在接收到针对所述待测量物体的测量指令的情况下，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像，并使用所述深度摄像头对所述待测量物体进行拍摄得到所述深度图。

结合本申请任一实施方式，所述在接收到针对所述待测量物体的测量指令之后，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像之前，所述方法还包括：

获取所述RGB摄像头的拍摄角度；

所述在接收到针对所述待测量物体的测量指令的情况下，终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像，包括：

在接收到针对所述待测量物体的测量指令，且所述拍摄角度处于俯拍角度区间的情况下，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像。

第二方面，提供了一种测量装置，所述装置包括：

获取单元，用于获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面；所述第一面为二维图像中待测量物体的上底面；所述二维图像通过二维成像设备采集得到，所述第一相机坐标系为所述二维成像设备的相机坐标系；所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面；所述第一点或为所述待测量物体的下底面所属平面中除所述第一类点之外的点；所述第一类点包括所述下底面中的点；

第一处理单元，用于确定所述第一像点到所述第一投影平面的距离，得到第一距离；

第二处理单元，用于依据所述第一距离，得到所述待测量物体的高度。

结合本申请任一实施方式，所述获取单元，用于在所述获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面之前，获取所述二维图像、所述二维图像的深度图和所述二维成像设备的内部参数；

所述第一处理单元，用于在所述确定所述第一像点到所述第一投影平面的距离，得到第一距离之前，确定第一线段与第二线段之间的像素点区域，作为第一待选区域；所述第一线段为过所述第一角点和所述第二角点的线段；所述第二线段为所述二维图像中与所述二维图像的像素坐标系的横轴平行、且纵坐标最大的边；

从所述第一待选区域选取一个点作为所述第一点。

结合本申请任一实施方式，所述第一处理单元，用于：

所述第二处理单元，用于：

结合本申请任一实施方式，所述获取单元，用于：

获取所述第一点的第一深度值；

结合本申请任一实施方式，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述获取单元，用于：

所述测量装置还包括：

第三处理单元，用于在所述确定所述第一像点到所述第一投影平面的距离，得到第一距离之前，确定第四点在所述第一投影平面中的第二像点；所述第四点为所述第三角点与所述第五角点连线的中点；

所述第一处理单元，用于：

结合本申请任一实施方式，所述上底面包括第六角点和与所述第六角点不同的第七角点；所述至少三个第二点不包括所述第六角点和所述第七角点；所述第一处理单元，用于：

结合本申请任一实施方式，所述第一处理单元，用于：

依据所述第一坐标与所述第三坐标，得到所述第三直线；

依据所述第二坐标与所述第三坐标，得到所述第四直线。

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于所述测量装置；所述测量装置还包括深度摄像头；在接收到针对所述待测量物体的测量指令的情况下，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像，并使用所述深度摄像头对所述待测量物体进行拍摄得到所述深度图。

结合本申请任一实施方式，所述在接收到针对所述待测量物体的测量指令之后，所述获取单元，还用于在所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像之前，获取所述RGB摄像头的拍摄角度；

第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种同名点示意图；

图2为本申请实施例提供的一种图像像素坐标系的示意图；

图3为本申请实施例提供的一种测量方法的流程示意图；

图4为本申请实施例提供的一种待测量物体示意图；

图5为本申请实施例提供的另一种待测量物体示意图；

图6为本申请实施例提供的一种二维图像示意图；

图7为本申请实施例提供的另一种二维图像示意图；

图8为本申请实施例提供的又一种待测量物体示意图；

图9为本申请实施例提供的又一种待测量物体示意图；

图10为本申请实施例提供的一种类规则形状物体示意图；

图11为本申请实施例提供的一种微波炉示意图；

图12为本申请实施例提供的一种测量装置的结构示意图；

图13为本申请实施例提供的一种测量装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。

为表述方便，下文将同一个物点在不同图像中的像素互为同名点。如图1所示，像素A与像素C互为同名点，像素B与像素D互为同名点。

本申请实施例中，图像中的位置均指图像的像素坐标下的位置。本申请实施例中的像素坐标系的横坐标用于表示像素点所在的列数，像素坐标系下的纵坐标用于表示像素点所在的行数。例如，在图2所示的图像中，以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向，构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如，图2中的像素点A₁₁的坐标为(1，1)，像素点A₂₃的坐标为(3，2)，像素点A₄₂的坐标为(2，4)，像素点A₃₄的坐标为(4，3)。

本申请实施例中，二维图像中的像素点在相机坐标系下的像点，为该像素点在相机坐标系下的投影点，该投影点到二维成像设备的光心的距离为该像素点所对应的物点到二维成像设备的距离，且该投影点、该像素点和二维成像设备的光心在一条直线上。

本申请实施例中，二维图像中的像素点平面在相机坐标系下的投影平面，为包含该像素点平面中的像素点在相机坐标系下的投影点的平面。

随着计算机视觉技术的发展，基于计算机视觉技术的测量方法应用而生。在该方法中，电子设备通过对包含待测量物体的RGB图像和RGB图像的深度图进行处理，得到待测量物体中各个点在相机坐标系下的三维坐标，进而依据待测量物体中各个点在相机坐标系下的三维坐标得到待测量物体的尺寸，以提高测量效率。

然而，受限于深度成像设备的成像限制，从深度图中获得的待测量物体中边缘上的点的深度值的准确度较低。这就导致待测量物体中边缘上的点的三维坐标的准确度低，进而导致得到的测量物体的尺寸的准确度低。

基于此，本申请实施例提供了一种技术方案，可提高测量准确度。下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图3，图3是本申请实施例提供的一种测量方法的流程示意图。

301、获取第一点在第一相机坐标系下的第一像点和第一面在上述第一相机坐标系下的第一投影平面。

本申请实施例中，第一面为二维图像中待测量物体的上底面。二维图像可以是RGB图像，也可以是YUV图像，其中，“Y”表示明亮度(即灰阶值)、“U”和“V”均表示色度。

二维图像通过二维成像设备采集得到，上述第一相机坐标系为二维成像设备的相机坐标系。二维成像设备可以是RGB成像设备，也可以是YUV成像设备。

本申请实施例中，第一类点为包括下底面中的点。例如，待测量物体的下底面包括点a、点b、点c。此时，点a、点b和点c均为第一类点。

在一种可能实现的方式中，第一点为待测量物体上深度值小于第一类点的最小深度值的点，且第一点不属于上底面。上述第一类点的最小深度值的含义可参见下例：假设第一类点包括：点a、点b、点c，其中，点a的深度值为A，点b的深度值为B，点c的深度值为C，且A小于B，B小于C。此时，第一类点的最小深度值为A。

在另一种可能实现的方式中，第一点为待测量物体的下底面所属平面中除第一类点之外的点。例如，待测量物体放置于水平面(如地面、桌面)上，则下底面所属平面包括该水平面和下底面。此时，第一点为水平面中任意一点。

本申请实施例中，第一点在第一相机坐标系下的第一像点，为第一点在第一相机坐标系下的投影点，该投影点到二维成像设备的光心的距离为第一点所对应的物点到二维成像设备的距离，且该投影点、第一点和二维成像设备的光心在一条直线上。

本申请实施例中，第一投影平面为上底面在第一相机坐标系下的投影平面，即第一投影平面包含上底面中所有点在第一相机坐标系下的投影点。例如，上底面包含点a、点b和点c，其中，点a在第一相机坐标系下的投影点为点A，点b在第一相机坐标系下的投影点为点B，点c在第一相机坐标系下的投影点为点C。此时，第一投影平面包含点A、点B和点C。

在一种获取第一像点的实现方式中，测量装置接收用户通过输入组件输入的点在第一相机坐标系下的坐标，进而依据该坐标确定第一像点，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取第一像点的实现方式中，测量装置接收第一终端发送的第一相机坐标系下的点的坐标，进而依据该坐标确定第一像点，其中，第一终端包括手机、计算机、平板电脑、服务器等。

在一种获取第一投影平面的实现方式中，测量装置接收用户通过输入组件输入的第一相机坐标系下的平面方程，进而依据该平面方程确定第一投影平面，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取第一投影平面的实现方式中，测量装置接收第二终端发送的第一相机坐标系下的平面方程，进而依据该平面方程确定第一投影平面，其中，第二终端包括手机、计算机、平板电脑、服务器等。可选的，第二终端与第一终端相同。

302、确定上述第一像点到上述第一投影平面的距离，得到第一距离。

303、依据上述第一距离，得到上述待测量物体的高度。

在第一点为待测量物体的下底面所属平面中除第一类点之外的点的情况下，假设第一距离为d₁，待测量物体的高为G。在一种可能实现的方式中，d₁、G满足下式：

G＝α₁×d₁…公式(1)

其中，α₁为正数。可选的，α₁＝1。

在另一种可能实现的方式中，d₁、G满足下式：

G＝α₁×d₁+β₁…公式(2)

其中，α₁为正数，β₁为实数。可选的，α₁＝1，β₁＝0。

在又一种可能实现的方式中，d₁、G满足下式：

G＝(α₁×d₁+β₁)ⁿ…公式(3)

其中，α₁为正数，β₁、n均为实数。可选的，α₁＝1，β₁＝0，n＝1。

将待测量物体中长度可表示待测量物体高度的边称为高度边，例如，图4所示的待测量物体中，AE、BF、CG三条边的长度均可用于表示待测量物体的高度，即AE、BF、CG均为高度边。在第一点为待测量物体上深度值小于第一类点的最小深度值的点，且第一点不属于上底面的情况下，测量装置通过对二维图像进行处理，确定在二维图像中，高度边的长度以及第一点到上底面的距离。

应理解，上述第一距离为第一相机坐标系下第一像点到第一投影平面的距离，与第一点到上底面的距离不同。举例来说，在图5所示的二维图像中，U点为第一点，平面ABCD为上底面，AE、BF、CG均为高度边。在二维图像中，第一点到上底面的距离为UV的长度。

测量装置计算第一点到上底面的距离与高度边的长度的比值得到第一比值，并依据第一距离和第一比值，得到待测量物体的高度。

假设第一比值为r₁，第一距离为d₁，待测量物体的高为G。在一种可能实现的方式中，d₁、G、r₁满足下式：

G＝α₂×d₁/r₁…公式(4)

其中，α₂为正数。可选的，α₂＝1。

在另一种可能实现的方式中，d₁、G、r₁满足下式：

G＝α₂×d₁/r₁+β₂…公式(5)

其中，α₂为正数，β₂为实数。可选的，α₂＝1，β₂＝0。

在又一种可能实现的方式中，d₁、G、r₁满足下式：

G＝(α₂×d₁/r₁+β₂)^m…公式(6)

其中，α₂为正数，β₂、m均为实数。可选的，α₂＝1，β₂＝0，m＝1。

本申请实施例中，因为在深度图中第一点的深度信息比下底面角点的深度信息准确，所以测量装置基于第一点的深度值和第一点在二维图像中的坐标，计算得到第一点到上底面的距离(即第一距离)，并依据第一距离得到待测量物体的高度，可提高待测量物体的高度的准确度。

由于在拍摄角度较大(如俯拍)的情况下，物体距离成像设备越远，成像过程中该物体的透视投影误差越大。例如，假设待测量物体的尺寸较小，且待测量物体放置于地面上。若需要使用成像设备对待测量物体进行拍摄时，通常以俯拍的方式对待测量物体进行拍摄。由于俯拍的拍摄角度较大，待测量物体上距离成像设备越远的部分在成像过程中所产生的透视投影误差越大。

在第一点为待测量物体上深度值小于第一类点的最小深度值的点，且第一点不属于上底面的情况下，第一点距离二维成像设备的距离比下底面上的点距离二维成像设备的距离近，依据第一距离确定待测量物体的高度，比依据下底面上的点到上底面的距离得到的待测量物体的高度更准确。因此，测量装置依据第一距离得到待测量物体的高度，可提高待测量物体的高度的准确度。

此外，在物点的透视投影误差较大的情况下，该物点的深度值的误差也较大。由于在第一点为下底面所属平面上除第一类点之外的点的情况下，第一点的透视投影误差比下底面上的点的透视投影误差小，第一点的深度值比下底面上的点的深度值更准确。因此，在第一点为下底面所属平面上除第一类点之外的点的情况下，基于第一距离得到的待测量物体的高度，可提高待测量物体的高度的精度。

作为一种可选的实施方式，测量装置在执行步骤301之前，还执行以下步骤：

1、获取上述二维图像、上述二维图像的深度图和上述二维成像设备的内部参数。

本申请实施例中，二维成像设备的内部参数包括：二维成像设备的焦距在相机坐标系下的坐标和二维成像设备的光心在相机坐标系下的坐标，其中，光心为二维成像设备的光轴与像平面的交点。

本申请实施例中，二维图像的深度图携带二维图像中像素点的深度信息，即深度图携带待测量物体的深度信息。

在一种获取二维图像的实现方式中，测量装置接收用户通过输入组件输入的二维图像，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取二维图像的实现方式中，测量装置接收第三终端发送的二维图像，其中，第三终端包括手机、计算机、平板电脑、服务器等。可选的，第三终端与第一终端相同。

在又一种获取二维图像的实现方式中，测量装置使用二维成像设备采集得到二维图像。例如，测量装置为手机，二维成像设备为手机上的RGB摄像头。手机使用RGB摄像头可采集得到RGB图像。

在一种获取二维图像的深度图的实现方式中，测量装置接收用户通过输入组件输入的二维图像的深度图，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取二维图像的深度图的实现方式中，测量装置接收第四终端发送的深度图，其中，第四终端包括手机、计算机、平板电脑、服务器等。可选的，第四终端与第一终端相同。

在又一种获取二维图像的深度图的实现方式中，测量装置使用深度成像设备采集得到深度图。例如，测量装置为手机，深度成像设备为手机上的深度摄像头。手机使用深度摄像头可采集得到深度图。本申请实施例中，深度摄像头可以是以下任意一种：结构光(structured light)摄像头、飞行时间(time of flight，TOF)摄像头、双目立体视觉(binocular stereo vision)摄像头。

2、从上述深度图中获取上述上底面中至少三个第二点的深度值。

由于深度成像设备的成像限制，通过深度成像设备采集到的深度图中，处于平面边缘的物点的深度信息可能不准确。考虑到后续处理中需要使用到至少三个第二点的深度信息，为提高后续处理的准确度，可选的，测量装置可从除待测量面的边缘上的之外的点中选取至少三个第二点。例如，在图4中，若待测量面为ABCD，则至少三个第二点为，ABCD中除AB上的点、BC上的点、CD上的点和DA上的点之外的点。

可选的，测量装置通过对二维图像进行角点检测处理，得到待测量面的角点在二维图像中的位置。测量装置依据待测量面中角点的位置，得到待测量面在图像中所覆盖的区域，进而可从该区域中选取至少三个第一点。

在一种可能的实现方式中，测量装置使用卷积神经网络对二维图像进行处理，实现角点检测处理。该卷积神经网络通过将多张带有标注信息的图像作为训练数据训练得到，其中，训练数据中的图像的标注信息为角点以及角点的位置。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从图像中提取出图像的特征数据，并依据特征数据确定图像中是否存在角点。在确定图像中存在角点的情况下，并依据图像的特征数据得到角点在图像中的位置。在训练过程中，以标注信息为监督信息监督卷积神经网络在训练过程中得到的结果，并更新卷积神经网络的参数，完成对卷积神经网络的训练。

这样，可使用训练后的卷积神经网络对二维图像进行处理，得到待测量物体的角点在二维图像中的位置。应理解，训练卷积神经网络的执行主体可以是测量装置，也可以是训练装置，其中，训练装置可以是以下中的一种：计算机、服务器。

在另一种可能实现的方式中，角点检测处理可通过角点检测算法实现，其中，角点检测算法可以是以下中的一种：Harris角点检测算法、Moravec角点检测算法、Shi-Tomasi角点检测等等，本申请对实现角点检测处理的角点检测算法不做具体限定。

在一种获取至少三个第二点的深度值的实现方式中，测量装置通过对二维图像和深度图进行图像配准处理，得到至少三个第二点的深度值。

本申请实施例中，图像配准处理可通过可实现图像配准的算法实现，该算法包括：尺度不变特征变换(scale-invariant feature transform，SIFT)、特征检测算法(histogram of oriented gridients，HOG)、特征提取算法(oriented fast and rotatedbrief，ORB)、索贝尔(Sobel)算子。

测量装置通过对二维图像和深度图进行图像配准处理，可从深度图中确定与第二点互为同名点的像素点，进而可将该像素点的深度值作为第二点的深度值。例如(例1)，至少三个第二点包括：第二点a、第二点b、第二点c。测量装置通过对二维图像和深度图进行图像配准处理，确定深度图中的像素点A与第二点a互为同名点、深度图中的像素点B与第二点b互为同名点、深度图中的像素点C与第二点c互为同名点。测量装置从深度图中获取到像素点A的深度值为d₁、像素点B的深度值为d₂、像素点C的深度值为d₃，则第二点a的深度值为d₁，第二点b的深度值为d₂，第二点c的深度值为d₃。

可选的，为提高第二点的深度值的准确度，测量装置获取二维成像设备和深度成像设备之间的位姿转换关系，其中，深度成像设备为采集深度图的成像设备。测量装置依据该位姿转换关系，对从深度图中获取到的深度值进行转换，得到二维图像的像素坐标系下的深度值，作为第二点的深度值。接着例1继续举例，测量装置依据位姿转换关系，对d₁进行转换(即将d₁与该位姿转换关系相乘)，得到二维图像的像素坐标系下的深度值d₄，作为第二点a的深度值。

3、依据上述内部参数、上述至少三个第二点的深度值和上述至少三个第二点在上述二维图像的像素坐标系下的坐标，得到上述至少三个第二点在上述第一相机坐标系下的像点。

测量装置依据二维成像设备的内部参数，对第二点在二维图像中的坐标和第二点的深度值进行转换，可得到第二点在二维成像设备的相机坐标系下的像点。

4、对上述至少三个第二点在上述第一相机坐标系下的像点进行平面拟合处理，得到上述第一投影平面。

可选的，测量装置可通过对至少三个第二点在相机坐标系下的像点进行平面拟合处理，使拟合得到的平面到至少三个第二点的像点的距离和最小，得到第一投影平面。这样，可提高第一投影平面的准确度。

例如，至少三个第二点的像点包括：像点a、像点b、像点c。假设像点a到拟合得到的平面的距离为D₁，像点b到拟合得到的平面的距离为D₂，像点c到拟合得到的平面的距离为D₃。那么，测量装置通过对至少三个第二点的像点进行平面拟合处理得到的平面，使D₁+D₂+D₃最小。

作为一种可选的实施方式，在第一点为待测量物体的下底面所属平面中除上述第一类点之外的点的情况下，下底面包括第一角点和与第一角点相邻的第二角点。测量装置在执行步骤302之前，还执行以下步骤：

5、确定第一线段与第二线段之间的像素点区域，作为第一待选区域。

本申请实施例中，第一线段为过第一角点和第二角点的线段。例如，在图6所示的二维图像中，E、F、G均为下底面待测量物体下底面中的角点，其中，E和F相邻、F和G相邻。在E为第一角点、F为第二角点，或F为第一角点、E为第二角点的情况下，第一线段为EF；在F为第一角点、G为第二角点，或G为第一角点、F为第二角点的情况下，第一线段为FG。

本申请实施例中，第二线段为二维图像中与二维图像的像素坐标系的横轴平行、且纵坐标最大的边。例如，在图6所示的二维图像中，LJ为第二线段。

在确定第一线段和第二线段后，测量装置将第一线段与第二线段之间的像素点区域作为第一待选区域。例如，在图6中，若第一线段为EF，此时，第一待选区域为多边形MLJH包围的像素点区域，其中，EM和FH均为EF的延长线。若第一线段为FG，此时，第一待选区域为三角形KJZ包围的像素点区域，其中FK和GZ均为FG的延长线。

可选的，测量装置确定过E点平行于FG的直线，该直线与二维图像的边界的交点为N。测量装置确定过G点与EF平行的直线，该直线与二维图像的边界的交点为P。测量装置将多边形EFKLN所包围的像素点区域和/或多边形FHPG所包围的像素点区域，作为第一待选区域。这样，可使第一待选区域属于下底面所属平面内的概率更高，进而可提高待测量物体的高度的准确度。

6、从上述第一待选区域选取一个点作为上述第一点。

在待测量物体放置于水平面(如地面、桌面)的情况下，水平面到待测量物体的上底面的距离即为待测量物体的高度。由于在深度图中，水平面中除下底面之外的点的深度信息比下底面中的点的深度信息更准确，测量装置从水平面中除下底面之外的点中选取一个点作为第一点，并依据第一点到上底面的距离得到待测量物体的高度，可提高待测量物体的高度的准确度。

可选的，测量装置可从第一待选区域中选取至少两个第一点，并分别计算每个第一点到上底面的距离。依据至少两个第一点到上底面的距离，得到带测量物体的至少两个高度。计算至少两个高度的均值，得到待测量物体的高度。例如，测量装置从第一待选区域中选取a点和b点两个第一点。测量装置确定a点到上底面的距离为D1，确定b点到上底面的距离为D2。依据D1得到待测量物体的高度为H1，依据D2得到待测量物体的高度为H2。测量装置计算H1和H2的均值，得到待测量物体的高度。

作为一种可选的实施方式，测量装置在执行步骤6的过程中执行以下步骤：

7、在上述第一线段位于上述待测量物体的正面的情况下，确定过上述第一线段的中点且与上述像素坐标系的纵轴平行的直线，得到第一直线。

本申请实施例中，正面为待测量物体中距离成像设备最近的面。例如，在图6中的待测量物体中，平面AEFB为正面。可选的，测量装置使用卷积神经网络对二维图像进行处理，可确定待测量物体的正面。

例如，在图6所示的二维图像中，若第一线段为EF，Q为EF的中点，则过Q点且与像素坐标系的纵轴平行的直线为QR，即第一直线为QR。

8、从上述第一待选区域中选取位于上述第一直线上的点，作为上述第一点。

测量装置从第一待选区域中选取位于第一直线上的点作为第一点，可在提高第一点为下底面所属平面内出第一类点之外的点的概率的同时，减少数据处理量，提高处理速度。

作为一种可选的实施方式，测量装置还执行以下步骤：

9、在上述第一线段位于上述待测量物体的侧面的情况下，确定过上述第一线段的中点且与上述像素坐标系的横轴平行的直线，得到第二直线。

本申请实施例中，在待测量物体中，除上底面、下底面、正面之外的面均为侧面。例如，在图6所示的待测量物体中，平面BFGC为侧面。可选的，测量装置使用卷积神经网络对二维图像进行处理，可确定待测量物体的侧面。

例如，在图6所示的二维图像中，若第一线段为FG，S为FG的中点，则过S点且与像素坐标系的横轴平行的直线为ST，即第一直线为ST。

10、从上述第一待选区域中选取位于上述第二直线上的点，作为上述第一点。

测量装置从第一待选区域中选取位于第二直线上的点作为第一点，可在提高第一点为下底面所属平面内的点的概率的同时，减少数据处理量，提高处理速度。

作为一种可选的实施方式，在执行步骤5的过程中执行以下步骤：

11、在上述第一线段与上述第二线段之间不存在边缘的情况下，确定上述第一线段与上述第二线段之间的像素点区域，作为上述第一待选区域。

可选的，在第一线段与第二线段之间不存在梯度超过梯度阈值的边缘的情况下，确定第一线段与第二线段之间不存在边缘。测量装置进而执行步骤5。

本申请实施例中，边缘的梯度超过梯度阈值表征该边缘的两侧是两个不同的平面。例如，在图7所示的二维图像中，边缘两侧分别是置物架的上底面和置物架的正面。显然，置物架的上底面和置物架的正面是两个不同的平面，即边缘两侧分别是两个不同的平面。

第一线段和第二线段之间不存在梯度超过梯度阈值的边缘，表征第一线段与第二线段之间的像素点区域与待测量物体的下底面属于同一个平面，即第一线段与第二线段之间的像素点区域中的点到待测量物体的上底面的距离为待测量物体的高度。

12、在上述第一线段与上述第二线段之间存在边缘的情况下，确定上述边界边缘与上述第一线段之间的像素点区域为上述第一待选区域。

第一线段和第二线段之间存在梯度超过梯度阈值的边界边缘，表征边界边缘与第二线段之间的像素点区域与待测量物体的下底面属于同一个平面，且边界边缘与第一线段之间的像素点区域与待测量物体的下底面属于同一个平面。因此，测量装置确定边界边缘与第一线段之间的像素点区域为第一待选区域。

例如，假设在图7所示的二维图像中，放置于置物架上的微波炉为待测量物体。显然，置物架的上底面与微波炉下底面属于同一平面，而置物架的正面与微波炉的下底面属于不同平面。测量装置将置物架的上底面所覆盖的像素点区域作为第一待选区域。

本申请实施例中，测量装置依据边缘检测结果确定第一待选区域，可提高第一待选区域与待测量物体的下底面属于同一个平面的概率，进而提高待测量物体的高度的准确度。

作为一种可选的实施方式，在执行步骤5之前，测量装置还执行以下步骤：

13、对上述二维图像进行边缘检测处理，得到边缘检测结果。

本申请实施例中，边缘检测处理用于检测图像中的边缘所在位置、边缘的梯度大小。可选的，边缘检测处理可通过以下中的一种方法实现：Canny边缘检测算法、索贝尔(sobel)算子、Roberts边缘检测算子、高斯拉普拉斯(Laplacian of Gaussian，LOG)边缘检测算子。

测量装置通过对二维图像进行边缘检测处理，可得到二维图像的边缘检测结果，其中，边缘检测结果包括：二维图像中何处存在边缘、边缘的梯度大小。

测量装置进而可依据边缘检测结果，确定第一线段与第二线段之间是否存在边缘。测量装置或可依据边缘检测结果，确定第一线段和第二线段之间是否存在梯度超过梯度阈值的边界边缘。

作为一种可选的实施方式，在第一点为待测量物体上深度值小于第二类点的最小深度值的点，且第一点不属于上底面的情况下，待测量物体还包括侧面，侧面的形状为矩形。侧面包括：属于上底面的第三角点、属于下底面的第四角点以及过第三角点和第四角点的第一对角线。此时，第一点为第一对角线上的点。测量装置在执行步骤303的过程执行以下步骤：

14、确定上述第一距离和第一值的乘积，得到上述待测量物体的高度。

本申请实施例中，第一值为第二距离与第三距离的比值，其中，第二距离为第三角点与第一点之间的距离，第三距离为第三角点与上述第四角点之间的距离。

举例来说，如图8所示，A为第三角点、F为第四角点，AF为第一对角线，T为第一点。由于ABFE为矩形，三角形AMT与三角形ABF相似，则AT/AF＝MT/BF，其中，AT/AF即为第一值，MT/BF即为第一点到上底面的距离与待测量物体的高度的比值。因此，测量装置通过确定第一距离和第一值的乘积，可得到待测量物体的高度。

作为一种可选的实施方式，测量装置通过执行以下步骤获取第一点在第一相机坐标系下的第一像点：

15、获取上述第一点的第一深度值。

在一种可能实现的方式中，测量装置可从深度图中获取第一点的深度值，作为第一深度值。

16、依据上述内部参数、上述第一深度值和上述第一点在上述二维图像中的坐标，得到上述第一像点。

测量装置依据二维成像设备的内部参数、第一点在二维图像中的坐标和第一深度值，可得到第一点的像点在第一相机坐标系下的作为，进而可得到第一像点。

作为一种可选的实施方式，在第一点为待测量物体上深度值小于第二类点的最小深度值的点，且第一点不属于上底面的情况下，测量装置在执行步骤15的过程中执行以下步骤：

17、依据上述内部参数、上述侧面中至少三个第三点在上述二维图像中的坐标和从上述深度图中得到的上述至少三个第三点的深度值，得到上述侧面在上述第一相机坐标系下的第二投影平面。

如上所述，由于深度成像设备的成像限制，通过深度成像设备采集到的深度图中，处于平面边缘的物点的深度信息可能不准确。因为后续处理中需要使用侧面中至少三个第三点的深度值，为提高后续处理的准确度，可选的，测量装置可从除侧面的边缘上的之外的点中选取至少三个第三点。例如，在图8侧面ABFE中，至少三个第三点为ABFE中，除AB上的点、BF上的点、EF上的点和AE上的点之外的点。

测量装置依据内部参数、侧面中至少三个第三点在二维图像中的坐标和至少三个第三点的深度值，可得到至少三个点在第一相机坐标系下的像点。通过对至少三个点在第一相机坐标系下的像点进行平面拟合处理，可得到侧面在第一相机坐标系下的投影平面，即第二投影平面。

18、从上述第二投影平面中确定与上述第一点对应的像点，并将与上述第一点对应的像点的深度值作为上述第一深度值。

由于第二投影平面为侧面在相机坐标系下的投影平面，第一点均属于侧面，第二投影平面包含与第一点对应的像点。

在一种可能实现的方式中，测量装置获取二维成像设备的光心在相机坐标系下的坐标，并依据第一点在第一相机坐标系下的坐标和光心在第一相机坐标系下的坐标，得到过第一点和光心的直线(下文称为第一角点直线)。测量装置确定第一角点直线与第二投影平面的交点，作为与第一点对应的像点。

在得到与第一点对应的像点后，测量装置将与第一点对应的像点的深度值(即与第一点对应的像点到二维成像设备的光心的距离)作为第一深度值。

作为一种可选的实施方式，在待测量物体包括第一对角线，第一点为待测量物体上深度值小于第一类点的最小深度值的点，且第一点不属于上底面的情况下，第一点为第一对角线的中点，上述侧面还包括属于上底面、且与第一角点不同的第五角点。测量装置在执行步骤302之前，还执行以下步骤：

19、确定第四点在上述第一成像平面中的第二像点。

本申请实施例中，第四点为第三角点与第五角点连线的中点。测量装置在确定第四点在二维图像中的坐标后，可确定第四点在第一投影平面中的像点，即第二像点。其中，确定第四点在第一投影平面中的像点的实现方式，可参见从第二投影平面中确定与第一点对应的像点的实现方式。

在得到第二像点之后，测量装置在执行步骤302的过程中执行以下步骤：

20、确定上述第一像点与上述第二像点之间的距离，作为上述第一距离。

作为一种可选的实施方式，上底面包括第六角点和与第六角点不同的第七角点，其中，第六角点和第七角点均不属于至少三个第一点。测量装置还执行以下步骤：

21、从上述第一投影平面中确定与上述第六角点对应的第三像点，以及与上述第七角点对应的第四像点。

本步骤的实现方式可参见步骤18，其中，第一投影平面与第二投影平面对应，第六角点与第一点对应，第三像点与第一像点所对应的像点对应。或第一投影平面与第二投影平面对应，第七角点与第一点对应，第四像点与与第一像点所对应的像点对应。

22、确定上述第三像点与上述第四像点之间的距离，作为上述第六角点与上述第七角点之间的距离。

在第六角点与第七角点相邻的情况下，第六角点与第七角点之间的距离为待测量物体的边长。例如，假设在图8所示的待测量物体中，第六角点为A、第七角点为B，此时AB的长度为待测量物体的边长。

本申请实施例中，测量装置通过执行步骤21和步骤22，可得到待测量物体的边长。测量装置通过从第二投影平面中确定第三像点和第四像点，得到第三像点的深度值和第四像点的深度值。测量装置进而通过确定第三像点和第四像点之间的距离，得到第六角点和第七角点之间的距离，可提高第六角点与第七角点之间的距离的准确度。

作为一种可选的实施方式，测量装置在执行步骤21的过程中执行以下步骤：

23、获取过上述第六角点和上述二维成像设备的光心的第一直线，以及过上述第七角点和上述光心的第二直线。

可选的，测量装置可通过获取第一直线在第一相机坐标系下的方程确定第一直线，通过获取第二直线在第一相机坐标系下的方程确定第二直线。

24、确定上述第一直线与上述第一投影平面之间的交点得到上述第三像点，确定上述第二直线与上述第一投影平面之间的交点得到上述第四像点。

测量装置联立第一直线的方程和第一投影平面的方程，可得到第三像点在第一相机坐标系下的坐标。测量装置联立第二直线的方程和第一投影平面的方程，可得到第四像点在第一相机坐标系下的坐标。

作为一种可选的实施方式，测量装置在执行步骤23的过程中执行以下步骤：

25、获取上述第六角点在上述二维成像设备的图像坐标系下的第一坐标、上述第七角点在上述图像坐标系下的第二坐标以及上述二维成像设备的光心在上述第一相机坐标系下的第三坐标。

测量装置在获取二维成像设备的内部参数后，可依据内部参数和第六角点在二维图像中的坐标，得到第六角点在二维成像设备的图像坐标系下的坐标，即第一坐标。测量装置依据内部参数和第七角点在二维图像中的坐标，得到第七角点在图像坐标系下的坐标，即第二坐标。

在一种获取光心在相机坐标系下的第三坐标的实现方式中，测量装置获取用户通过输入组件输入的光心坐标，作为第三坐标。

在另一种获取光心在相机坐标系下的第三坐标的实现方式中，测量装置接收第二终端发送的光心坐标，作为第三坐标，其中，第五终端包括手机、计算机、平板电脑、服务器等。可选的，第五终端与第一终端相同。

26、依据上述第一坐标与上述第三坐标，得到上述第三直线。

测量装置依据第一坐标和第三坐标，可得到过第六角点和光心的直线的方程，即第一直线的方程。

27、依据上述第二坐标与上述第三坐标，得到上述第四直线。

测量装置依据第二坐标和第三坐标，可得到过第七角点和光心的直线的方程，即第二直线的方程。

可选的，本申请实施例中，待测量物体的形状为规则形状或类规则形状。本申请实施例中，规则形状为上底面和下底面均为规则形状的物体。其中，规则形状包括以下至少一种：矩形、菱形、平行四边形、五边形。例如，长方体为规则形状。又例如，在图9所示的待测量物体中，上底面和下底面均为五边形，待测量物体为规则形状。

本申请实施例中，类规则形状包括至少一个面是切角矩形的规则形状、规则形状中至少一个面中存在凸起部分和/或凹陷部分。例如，图10所示物体的形状即为类规则形状。又例如，图11所示的微波炉为类规则形状。

在日常生活中，人们经常需要测量一些物体(如：纸箱、桌子、柜子)的尺寸。对人们而言，使用尺子测量物体的尺寸既耗时又耗力。而随着科技的发展，终端的硬件配置越来越高，终端使用本申请实施例公开的技术方案即能测量物体的尺寸。

具体的，终端装载有RGB摄像头和深度摄像头。在接收到针对待测量物体的测量指令的情况下，终端使用RGB摄像头对待测量物体进行拍摄可得到二维图像，终端使用深度摄像头对待测量物体进行拍摄可得到深度图。上述测量指令包括以下至少一种：语音、文字、点击操作、触摸操作。终端使用上述技术方案对采集到的RGB图像和深度图进行处理，可得到待测量物体的尺寸。

作为一种可选的实施方式，终端在接收到针对所述待测量物体的测量指令之后，在执行使用RGB摄像头对待测量物体进行拍摄得到二维图像的步骤之前，还执行获取RGB摄像头的拍摄角度的步骤。

在一种可能实现的方式中，终端装载有陀螺仪传感器。终端依据从陀螺仪传感器获取到的陀螺仪数据，可得到RGB摄像头的拍摄角度。

在另一种可能实现的方式中，终端在使用RGB摄像头对待测量物体进行拍摄得到二维图像之前，可使用RGB摄像头采集一张待确认图像。使用拍摄角度检测网络对待确认图像进行处理，得到RGB摄像头的拍摄角度。该拍摄角度检测网络为以携带标注信息的训练图像集训练得到的神经网络，其中，该标注信息包括拍摄角度。

RGB摄像头的拍摄角度处于俯拍角度区间，说明RGB摄像头处于俯拍状态，此时，终端使用本申请实施例提供的技术方案测量待测量物体的高度，可提高测量准确度。因此，在接收到针对所述待测量物体的测量指令，且确定RGB摄像头的拍摄角度处于俯拍角度区间的情况下，终端使用RGB摄像头对待测量物体进行拍摄得到二维图像。

基于本申请实施例提供的技术方案，本申请实施例还提供了几种可能的应用场景。

场景1：小明联系了搬家公司帮忙搬家，但搬家公司需要小明告知需要搬的东西的尺寸，因此小明需要测量需要搬的东西的尺寸。由于需要搬的东西较多，用尺子测量这些东西(如桌子、柜子、洗衣机，下文将称为待测量物体)的尺寸较麻烦。因此，小明通过点击手机向手机输入测量待测量物体的指令，手机在接收到该指令的情况下，使用装载有RGB摄像头和TOF摄像头的手机对待测量物体进行拍摄，得到包含待测量物体的RGB图像和RGB图像的深度图。手机进而可使用上述公开的技术方案对RGB图像和深度图就行处理，得到待测量物体的尺寸。这样，小明就不用使用尺子去测量待测量物体的尺寸，只需使用手机对待测量物体进行拍摄，即可获知待测量物体的尺寸。

场景2：随着电商快速发展，越来越多的人通过电商进行购物，这也给物流行业带来了更多的挑战，其中，就包括提高测量待配送货物的尺寸的效率。

如今的物流配送越发规范，在运送待配送货物之前，均会用纸箱对待配送货物进行包装。由于纸箱的形状均为长方体，终端使用本申请实施例公开的技术方案可准确测量纸箱的尺寸。例如，物流公司的工作人员可使用装载有RGB摄像头和TOF摄像头的终端(如手机、平板电脑)对待测量纸箱进行拍摄，得到包含待测量纸箱的RGB图像和RGB图像的深度图。终端进而可使用上述公开的技术方案对RGB图像和深度图就行处理，得到待测量纸箱的尺寸。这样，可降低测量纸箱尺寸所需的人力成本，提高测量纸箱尺寸的效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图12，图12为本申请实施例提供的一种测量装置的结构示意图，该装置1包括：获取单元11、第一处理单元12、第二处理单元13、第三处理单元14、RGB摄像头15、深度摄像头16，其中：

获取单元11，用于获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面；所述第一面为二维图像中待测量物体的上底面；所述二维图像通过二维成像设备采集得到，所述第一相机坐标系为所述二维成像设备的相机坐标系；所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面；所述第一点或为所述待测量物体的下底面所属平面中除所述第一类点之外的点；所述第一类点包括所述下底面中的点；

第一处理单元12，用于确定所述第一像点到所述第一投影平面的距离，得到第一距离；

第二处理单元13，用于依据所述第一距离，得到所述待测量物体的高度。

结合本申请任一实施方式，所述获取单元11，用于在所述获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面之前，获取所述二维图像、所述二维图像的深度图和所述二维成像设备的内部参数；

所述第一处理单元12，用于在所述确定所述第一像点到所述第一投影平面的距离，得到第一距离之前，确定第一线段与第二线段之间的像素点区域，作为第一待选区域；所述第一线段为过所述第一角点和所述第二角点的线段；所述第二线段为所述二维图像中与所述二维图像的像素坐标系的横轴平行、且纵坐标最大的边；

从所述第一待选区域选取一个点作为所述第一点。

结合本申请任一实施方式，所述第一处理单元12，用于：

所述第二处理单元13，用于：

结合本申请任一实施方式，所述获取单元11，用于：

获取所述第一点的第一深度值；

结合本申请任一实施方式，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述获取单元11，用于：

所述测量装置1还包括：

第三处理单元14，用于在所述确定所述第一像点到所述第一投影平面的距离，得到第一距离之前，确定第四点在所述第一投影平面中的第二像点；所述第四点为所述第三角点与所述第五角点连线的中点；

所述第一处理单元12，用于：

结合本申请任一实施方式，所述上底面包括第六角点和与所述第六角点不同的第七角点；所述至少三个第二点不包括所述第六角点和所述第七角点；所述第一处理单元12，用于：

结合本申请任一实施方式，所述第一处理单元12，用于：

依据所述第一坐标与所述第三坐标，得到所述第三直线；

依据所述第二坐标与所述第三坐标，得到所述第四直线。

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头15；所述RGB摄像头15属于所述测量装置；所述测量装置还包括深度摄像头16；在接收到针对所述待测量物体的测量指令的情况下，所述终端使用所述RGB摄像头15对所述待测量物体进行拍摄得到所述二维图像，并使用所述深度摄像头16对所述待测量物体进行拍摄得到所述深度图。

结合本申请任一实施方式，所述在接收到针对所述待测量物体的测量指令之后，所述获取单元，还用于在所述终端使用所述RGB摄像头15对所述待测量物体进行拍摄得到所述二维图像之前，获取所述RGB摄像头14的拍摄角度；

在接收到针对所述待测量物体的测量指令，且所述拍摄角度处于俯拍角度区间的情况下，所述终端使用所述RGB摄像头14对所述待测量物体进行拍摄得到所述二维图像。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图13为本申请实施例提供的一种测量装置的硬件结构示意图。该测量装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的第一像点和第一投影平面，又或者该存储器22还可用于存储通过处理器21得到的待测量物体的高度等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图13仅仅示出了一种测量装置的简化设计。在实际应用中，测量装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的测量装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims

1.一种测量方法，其特征在于，所述方法包括：

依据所述第一距离，得到所述待测量物体的高度。

2.根据权利要求1所述的方法，其特征在于，在所述获取第一点在第一相机坐标系下的第一像点和第一面在所述第一相机坐标系下的第一投影平面之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，在所述第一点为所述待测量物体的下底面所属平面中除所述第一类点之外的点的情况下，所述下底面包括第一角点和与所述第一角点相邻的第二角点；

从所述第一待选区域选取一个点作为所述第一点。

4.根据权利要求3所述的方法，其特征在于，所述从所述第一待选区域选取一个点作为所述第一点，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3至5中任意一项所述的方法，其特征在于，所述确定第一线段与第二线段之间的像素点区域，作为第一待选区域，包括：

7.根据权利要求1或2所述的方法，其特征在于，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述待测量物体还包括侧面，所述侧面的形状为矩形；所述侧面包括：属于所述上底面的第三角点、属于所述下底面的第四角点以及过所述第三角点和所述第四角点的第一对角线；所述第一点属于所述第一对角线；

8.根据权利要求2至6中任意一项所述的方法，其特征在于，所述获取第一点在第一相机坐标系下的第一像点，包括：

获取所述第一点的第一深度值；

9.根据权利要求8所述的方法，其特征在于，在所述第一点为所述待测量物体上深度值小于第二类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述获取所述第一点的第一深度值，包括：

10.根据权利要求8或9所述的方法，其特征在于，在所述待测量物体包括第一对角线，所述第一点为所述待测量物体上深度值小于第一类点的最小深度值的点，且所述第一点不属于所述上底面的情况下，所述第一点为所述第一对角线的中点；所述侧面还包括属于所述上底面、且与所述第一角点不同的第五角点；

11.根据权利要求2至6、8至10中任意一项所述的方法，其特征在于，所述上底面包括第六角点和与所述第六角点不同的第七角点；所述至少三个第二点不包括所述第六角点和所述第七角点；所述方法还包括：

12.根据权利要求11所述的方法，其特征在于，所述从所述第一投影平面中确定与所述第六角点对应的第三像点，以及与所述第七角点对应的第四像点，包括：

13.根据权利要求12所述的方法，其特征在于，所述获取过所述第六角点和所述二维成像设备的光心的第一直线，以及过所述第七角点和所述光心的第二直线，包括：

依据所述第一坐标与所述第三坐标，得到所述第三直线；

依据所述第二坐标与所述第三坐标，得到所述第四直线。

14.根据权利要求1至13所述的方法，其特征在于，所述待测量物体的形状为规则形状或类规则形状。

15.根据权利要求2至14中任意一项所述的方法，其特征在于，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于终端；所述终端还包括深度摄像头；所述获取二维图像和所述二维图像的深度图，包括：

16.根据权利要求15所述的方法，其特征在于，所述在接收到针对所述待测量物体的测量指令之后，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄得到所述二维图像之前，所述方法还包括：

获取所述RGB摄像头的拍摄角度；

17.一种测量装置，其特征在于，所述装置包括：

18.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至16中任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至16中任意一项所述的方法。