CN112102390A

CN112102390A - 测量方法及装置、电子设备及存储介质

Info

Publication number: CN112102390A
Application number: CN202010899118.8A
Authority: CN
Inventors: 周杨; 赵梦彪; 刘文韬; 钱晨
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-18

Abstract

本申请公开了一种测量方法及装置、电子设备及存储介质。该方法包括：获取待测量面在二维成像设备的相机坐标系下的投影平面；所述待测量面属于二维图像中的待测量物体；所述二维图像通过所述二维成像设备采集得到；从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点；所述第一角点和所述第二角点均属于所述待测量面；确定所述第一像点与所述第二像点之间的距离，作为所述第一角点与所述第二角点之间的距离。

Description

测量方法及装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种测量方法及装置、电子设备及存储介质。

背景技术

在日常生活中，人们经常需要测量物体的尺寸。传统方法中，人们通常使用长度测量工具(如卷尺、直尺、游标卡尺)测量物体的尺寸。但这种传统测量方法对测量者而言，既耗时又耗力，测量效率低。因此，如何高效、准确测量物体的尺寸具有非常重要的意义。

发明内容

本申请提供一种测量方法及装置、电子设备及存储介质。

第一方面，提供了一种测量方法，所述方法包括：

获取待测量面在二维成像设备的相机坐标系下的投影平面；所述待测量面属于二维图像中的待测量物体；所述二维图像通过所述二维成像设备采集得到；

从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点；所述第一角点和所述第二角点均属于所述待测量面；

确定所述第一像点与所述第二像点之间的距离，作为所述第一角点与所述第二角点之间的距离。

结合本申请任一实施方式，所述从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点，包括：

获取过所述第一角点和所述二维成像设备的光心的第一直线，以及过所述第二角点和所述光心的第二直线；

确定所述第一直线与所述投影平面之间的交点得到所述第一像点，确定所述第二直线与所述投影平面之间的交点得到所述第二像点。

结合本申请任一实施方式，所述获取过所述第一角点和所述二维成像设备的光心的第一直线，以及过所述第二角点和所述光心的第二直线，包括：

获取所述第一角点在所述二维成像设备的图像坐标系下的第一坐标、所述第二角点在所述图像坐标系下的第二坐标以及所述二维成像设备的光心在所述相机坐标系下的第三坐标；

依据所述第一坐标与所述第三坐标，得到所述第一直线；

依据所述第二坐标与所述第三坐标，得到所述第二直线。

结合本申请任一实施方式，所述获取待测量面在二维成像设备的相机坐标系下的投影平面，包括：

获取所述二维成像设备的内部参数、所述二维图像的深度图和所述待测量面中至少三个第一点在所述二维图像的像素坐标系下的坐标；

从所述深度图中获取所述至少三个第一点的深度值；

依据所述内部参数、所述至少三个第一点的深度值和所述至少三个第一点在所述像素坐标系下的坐标，得到所述至少三个第一点在所述相机坐标系下的像点；

对所述至少三个第一点在所述相机坐标系下的像点进行平面拟合处理，得到所述投影平面。

结合本申请任一实施方式，所述待测量物体的形状为规则形状或类规则形状，所述待测量面为所述待测量物体的上底面，所述方法还包括：

获取所述第三角点在所述像素坐标系下的坐标，并从所述深度图中获取第三角点的深度值；所述第三角点与所述第一角点之间的连线为所述待测量物体的高度边；

依据所述内部参数、所述第三角点的深度值和所述第三角点在所述像素坐标系下的坐标，得到所述第三角点在所述相机坐标系下的第三像点；

确定所述第一像点和所述第三像点之间的距离，作为所述待测量物体的高度。

结合本申请任一实施方式，在所述从所述深度图中获取所述待测量面中至少三个第一点的深度值之前，所述方法还包括：

确定所述待测量面的几何中心，得到第三点；

以所述第三点为中心，构建面积为第一值的待选取区域；所述第一值小于所述待测量面的面积；

从所述待选取区域中选取至少三个点作为所述至少三个第一点。

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于终端；所述终端还包括深度摄像头；

在所述获取待测量面在二维成像设备的相机坐标系下的投影平面之前，所述方法还包括：

在接收到针对所述待测量物体的测量指令的情况下，所述终端使用所述RGB摄像头对所述待测量物体进行拍摄，得到所述二维图像；

所述获取所述二维图像的深度图，包括：

在接收到所述测量指令的情况下，所述终端使用所述深度摄像头对所述待测量物体进行拍摄，得到所述深度图。

第二方面，提供了一种测量装置，所述装置包括：

获取单元，用于获取待测量面在二维成像设备的相机坐标系下的投影平面；所述待测量面属于二维图像中的待测量物体；所述二维图像通过所述二维成像设备采集得到；

第一处理单元，用于从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点；所述第一角点和所述第二角点均属于所述待测量面；

第二处理单元，用于确定所述第一像点与所述第二像点之间的距离，作为所述第一角点与所述第二角点之间的距离。

结合本申请任一实施方式，所述第一处理单元，用于：

依据所述第一坐标与所述第三坐标，得到所述第一直线；

依据所述第二坐标与所述第三坐标，得到所述第二直线。

结合本申请任一实施方式，所述获取单元，用于：

从所述深度图中获取所述至少三个第一点的深度值；

结合本申请任一实施方式，所述待测量物体的形状为规则形状或类规则形状，所述待测量面为所述待测量物体的上底面，所述获取单元，还用于获取所述第三角点在所述像素坐标系下的坐标，并从所述深度图中获取第三角点的深度值；所述第三角点与所述第一角点之间的连线为所述待测量物体的高度边；

所述第一处理单元，还用于依据所述内部参数、所述第三角点的深度值和所述第三角点在所述像素坐标系下的坐标，得到所述第三角点在所述相机坐标系下的第三像点；

所述第二处理单元，还用于确定所述第一像点和所述第三像点之间的距离，作为所述待测量物体的高度。

结合本申请任一实施方式，所述第一处理单元，还用于：

在所述从所述深度图中获取所述待测量面中至少三个第一点的深度值之前，确定所述待测量面的几何中心，得到第三点；

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于所述测量装置；所述测量装置还包括深度摄像头；

在所述获取待测量面在二维成像设备的相机坐标系下的投影平面之前，在接收到针对所述待测量物体的测量指令的情况下，所述测量装置使用所述RGB摄像头对所述待测量物体进行拍摄，得到所述二维图像；

在接收到所述测量指令的情况下，所述测量装置使用所述深度摄像头对所述待测量物体进行拍摄，得到所述深度图。

第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种同名点示意图；

图2为本申请实施例提供的一种图像像素坐标系的示意图；

图3为本申请实施例提供的一种测量方法的流程示意图；

图4为本申请实施例提供的一种待测量物体示意图；

图5为本申请实施例提供的另一种待测量物体示意图；

图6为本申请实施例提供的一种切角三角形示意图；

图7为本申请实施例提供的一种切角矩形示意图；

图8为本申请实施例提供的另一种切角矩形示意图；

图9为本申请实施例提供的一种类规则形状物体示意图；

图10为本申请实施例提供的一种微波炉示意图；

图11为本申请实施例提供的一种不规则形状示意图；

图12为本申请实施例提供的一种测量装置的结构示意图；

图13为本申请实施例提供的一种测量装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。

为表述方便，下文将同一个物点在不同图像中的像素互为同名点。如图1所示，像素A与像素C互为同名点，像素B与像素D互为同名点。

本申请实施例中，图像中的位置均指图像的像素坐标下的位置。本申请实施例中的像素坐标系的横坐标用于表示像素点所在的列数，像素坐标系下的纵坐标用于表示像素点所在的行数。例如，在图2所示的图像中，以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向，构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如，图2中的像素点A₁₁的坐标为(1，1)，像素点A₂₃的坐标为(3，2)，像素点A₄₂的坐标为(2，4)，像素点A₃₄的坐标为(4，3)。

本申请实施例中，二维图像中的像素点在相机坐标系下的像点，为该像素点在相机坐标系下的投影点，该投影点到二维成像设备的光心的距离为该像素点所对应的物点到二维成像设备的距离，且该投影点、该像素点和二维成像设备的光心在一条直线上。

本申请实施例中，二维图像中的像素点平面在相机坐标系下的投影平面，为包含该像素点平面中的像素点在相机坐标系下的投影点的平面。

随着计算机视觉技术的发展，基于计算机视觉技术的测量方法应用而生。在该方法中，电子设备通过对包含待测量物体的RGB图像和RGB图像的深度图进行处理，得到待测量物体中各个点在相机坐标系下的三维坐标，进而依据待测量物体中各个点在相机坐标系下的三维坐标得到待测量物体的尺寸，以提高测量效率。

然而，受限于深度成像设备的成像限制，从深度图中获得的待测量物体中边缘上的点的深度值的准确度较低。这就导致待测量物体中边缘上的点在相机坐标系下的像点的坐标不准确，进而导致得到的测量物体的尺寸的准确度低。

基于此，本申请实施例提供了一种技术方案，可提高测量准确度。本申请实施例的执行主体为测量装置。可选的，测量装置可以是以下中的一种：手机、计算机、服务器、平板电脑。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图3，图3是本申请实施例提供的一种测量方法的流程示意图。

301、获取待测量面在二维成像设备的相机坐标系下的投影平面。

本申请实施例中，待测量面属于二维图像中的待测量物体，即在二维图像中，待测量面为待测量物体上的一个面。该二维图像通过二维成像设备采集得到。

例如，在图4中，待测量物体包括以下四个面：ABCD、AEFB、BFGC、EFG。待测量面可以是上述四个面中的一个。

上述二维成像设备可以是RGB成像设备，也可以是YUV成像设备，其中，“Y”表示明亮度(即灰阶值)、“U”和“V”均表示色度。例如，二维成像设备为RGB摄像头。

在一种可能实现的方式中，测量装置接收用户通过输入组件输入的平面方程，作为上述投影平面的方程，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种可能实现的方式中，测量装置接收第一终端发送的平面方程，作为上述投影平面的方程，其中，第一终端包括手机、计算机、平板电脑、服务器等。

302、从上述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点。

本申请实施例中，第一角点和第二角点均属于待测量面。由于投影平面包含待测量面上所有点在相机坐标系下的像点，而第一角点和第二角点均属于待测量面，投影平面包含与第一角点对应的像点(即第一像点)、与第二角点对应的像点(即第二像点)。

在一种可能实现的方式中，测量装置获取二维成像设备的光心在相机坐标系下的坐标，并依据第一角点在相机坐标系下的坐标和光心在相机坐标系下的坐标，得到过第一角点和光心的直线(下文称为第一直线)。测量装置确定该第一直线与投影平面的交点，作为第一像点。同理，测量装置依据第二角点在相机坐标系下的坐标和光心在相机坐标系下的坐标，得到过第二角点和光心的直线(下文称为第二直线)。测量装置将该第二直线与投影平面的交点，作为第二像点。

在本步骤中，由于投影平面上的点均携带三维坐标信息，第一像点和第二像点也均携带三维坐标信息，而三维坐标信息中携带深度信息，测量装置通过执行步骤302，可得到第一角点的深度值以及第二角点的深度值。

303、确定上述第一像点与上述第二像点之间的距离，作为上述第一角点与上述第二角点之间的距离。

由于相机坐标系与世界坐标系之间的转换关系包括旋转和平移，第一像点与第二像点之间的距离，与第一角点与第二角点之间的距离相等。因此，测量装置通过计算第一像点与第二像点之间的距离，可得到第一角点与第二角点之间的距离。

应理解，前文以第一角点和第二角点为对象进行描述，不应理解为本申请实施例只能对测量待测量物体中两个角点之间的距离。可选的，在实际应用中，测量装置可测量待测量物体上任意两个角点之间的距离。例如，在待测量物体为长方体的情况下，测量装置可使用前文所公开的技术方案，得到长方体的长、宽、高。

本申请实施例中，测量装置通过从投影平面中确定第一像点和第二像点，可提高第一像点在相机坐标系下的坐标的准确度和第二像点在相机坐标系下的坐标的准确度。因此通过确定第一像点和第二像点之间的距离，得到第一角点和第二角点之间的距离，可提高第一角点与第二角点之间的距离的准确度。

作为一种可选的实施方式，测量装置在执行步骤302的过程中执行以下步骤：

1、获取过上述第一角点和上述二维成像设备的光心的第一直线，以及过上述第二角点和上述光心的第二直线。

可选的，测量装置可通过获取第一直线的方程确定第一直线，通过获取第二直线的方程确定第二直线。

2、确定上述第一直线与上述投影平面之间的交点得到上述第一像点，确定上述第二直线与上述投影平面之间的交点得到上述第二像点。

测量装置联立第一直线的方程和投影平面的方程，可得到第一像点在相机坐标系下的坐标。测量装置联立第二直线的方程和投影平面的方程，可得到第二像点在相机坐标系下的坐标。

作为一种可选的实施方式，测量装置在执行步骤1的过程中执行以下步骤：

3、获取上述第一角点在上述二维成像设备的图像坐标系下的第一坐标、上述第二角点在上述图像坐标系下的第二坐标以及上述二维成像设备的光心在上述相机坐标系下的第三坐标。

测量装置在获取二维成像设备的内部参数后，可依据内部参数和第一角点在二维图像中的坐标，得到第一角点在二维成像设备的图像坐标系下的坐标，即第一坐标。测量装置依据内部参数和第二角点在二维图像中的坐标，得到第二角点在图像坐标系下的坐标，即第二坐标。

在一种获取光心在相机坐标系下的第三坐标的实现方式中，测量装置获取用户通过输入组件输入的光心坐标，作为第三坐标。

在另一种获取光心在相机坐标系下的第三坐标的实现方式中，测量装置接收第二终端发送的光心坐标，作为第三坐标，其中，第二终端包括手机、计算机、平板电脑、服务器等。可选的，第二终端与第一终端相同。

4、依据上述第一坐标与上述第三坐标，得到上述第一直线。

测量装置依据第一坐标和第三坐标，可得到过第一角点和光心的直线的方程，即第一直线的方程。

5、依据上述第二坐标与上述第三坐标，得到上述第二直线。

测量装置依据第二坐标和第三坐标，可得到过第二角点和光心的直线的方程，即第二直线的方程。

作为一种可选的实施方式，测量装置在执行步骤301的过程中执行以下步骤：

6、获取上述二维成像设备的内部参数、上述二维图像的深度图和上述待测量面中至少三个第一点在上述二维图像的像素坐标系下的坐标。

本申请实施例中，二维成像设备的内部参数包括：二维成像设备的焦距在相机坐标系下的坐标和二维成像设备的光心在相机坐标系下的坐标，其中，光心为二维成像设备的光轴与像平面的交点。

本申请实施例中，二维图像的深度图携带二维图像中像素点的深度信息，即深度图携带待测量物体的深度信息。

在一种获取二维图像的深度图的实现方式中，测量装置接收用户通过输入组件输入的二维图像的深度图，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取二维图像的深度图的实现方式中，测量装置接收第三终端发送的二维图像的，其中，第三终端包括手机、计算机、平板电脑、服务器等。可选的，第三终端与第一终端相同。

在又一种获取二维图像的深度图的实现方式中，测量装置使用深度成像设备采集得到深度图。例如，测量装置为手机，深度成像设备为手机上的深度摄像头。手机使用深度摄像头可采集得到深度图。本申请实施例中，深度摄像头可以是以下任意一种：结构光(structured light)摄像头、飞行时间(time of flight，TOF)摄像头、双目立体视觉(binocular stereo vision)摄像头。

如上所述，由于深度成像设备的成像限制，通过深度成像设备采集到的深度图中，处于平面边缘的物点的深度信息可能不准确。考虑到后续处理中需要使用到至少三个第一点的深度信息，为提高后续处理的准确度，测量装置可从除待测量面的边缘上的之外的点中选取至少三个第一点。例如，在图4中，若待测量面为ABCD，则至少三个第一点为，ABCD中除AB上的点、BC上的点、CD上的点和DA上的点之外的点。

可选的，测量装置通过对二维图像进行角点检测处理，得到待测量面的角点在二维图像中的位置。测量装置依据待测量面中角点的位置，得到待测量面在图像中所覆盖的区域，进而可从该区域中选取至少三个第一点。

在一种可能的实现方式中，测量装置使用卷积神经网络对二维图像进行处理，实现角点检测处理。该卷积神经网络通过将多张带有标注信息的图像作为训练数据训练得到，其中，训练数据中的图像的标注信息为角点以及角点的位置。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从图像中提取出图像的特征数据，并依据特征数据确定图像中是否存在角点。在确定图像中存在角点的情况下，并依据图像的特征数据得到角点在图像中的位置。在训练过程中，以标注信息为监督信息监督卷积神经网络在训练过程中得到的结果，并更新卷积神经网络的参数，完成对卷积神经网络的训练。

这样，可使用训练后的卷积神经网络对二维图像进行处理，得到待测量物体的角点在二维图像中的位置。应理解，训练卷积神经网络的执行主体可以是测量装置，也可以是训练装置，其中，训练装置可以是以下中的一种：计算机、服务器。

在另一种可能实现的方式中，角点检测处理可通过角点检测算法实现，其中，角点检测算法可以是以下中的一种：Harris角点检测算法、Moravec角点检测算法、Shi-Tomasi角点检测等等，本申请对实现角点检测处理的角点检测算法不做具体限定。

7、从上述深度图中获取上述至少三个第一点的深度值。

在一种获取至少三个第一点的深度值的实现方式中，测量装置在执行步骤7之前获取二维图像，并通过对二维图像和深度图进行图像配准处理，得到至少三个第一点的深度值。

本申请实施例中，图像配准处理可通过可实现图像配准的算法实现，该算法包括：尺度不变特征变换(scale-invariant feature transform，SIFT)、特征检测算法(histogram of oriented gridients，HOG)、特征提取算法(oriented fast and rotatedbrief，ORB)、索贝尔(Sobel)算子。

测量装置通过对二维图像和深度图进行图像配准处理，可从深度图中确定与第一点互为同名点的像素点，进而可将该像素点的深度值作为第一点的深度值。例如(例1)，至少三个第一点包括：第一点a、第一点b、第一点c。测量装置通过对二维图像和深度图进行图像配准处理，确定深度图中的像素点A与第一点a互为同名点、深度图中的像素点B与第一点b互为同名点、深度图中的像素点C与第一点c互为同名点。测量装置从深度图中获取到像素点A的深度值为d₁、像素点B的深度值为d₂、像素点C的深度值为d₃，则第一点a的深度值为d₁，第一点b的深度值为d₂，第一点c的深度值为d₃。

可选的，为提高第一点的深度值的准确度，测量装置获取二维成像设备和深度成像设备之间的位姿转换关系，其中，深度成像设备为采集深度图的成像设备。测量装置依据该位姿转换关系，对从深度图中获取到的深度值进行转换，得到二维图像的像素坐标系下的深度值，作为第一点的深度值。接着例1继续举例，测量装置依据位姿转换关系，对d₁进行转换(即将d₁与该位姿转换关系相乘)，得到二维图像的像素坐标系下的深度值d₄，作为第一点a的深度值。

8、依据上述内部参数、上述至少三个第一点的深度值和上述至少三个第一点在上述像素坐标系下的坐标，得到上述至少三个第一点在上述相机坐标系下的像点。

测量装置依据二维成像设备的内部参数，对第一点在二维图像中的坐标和第一点的深度值进行转换，可得到第一点在二维成像设备的相机坐标系下的像点。

9、对上述至少三个第一点在上述相机坐标系下的像点进行平面拟合处理，得到上述投影平面。

可选的，测量装置可通过对至少三个第一点在相机坐标系下的像点进行平面拟合处理，使拟合得到的平面到至少三个第一点的像点的距离和最小，得到投影平面。这样，可提高投影平面的准确度。

例如，至少三个第一点的像点包括：像点a、像点b、像点c。假设像点a到拟合得到的平面的距离为D₁，像点b到拟合得到的平面的距离为D₂，像点c到拟合得到的平面的距离为D₃。那么，测量装置通过对至少三个第一点的像点进行平面拟合处理得到的平面，使D₁+D₂+D₃最小。

作为一种可选的实施方式，待测量物体的形状为规则形状或类规则形状，待测量面为待测量物体的上底面。

本申请实施例中，规则形状包括以下至少一种：矩形、菱形、平行四边形、五边形。例如，长方体为规则形状。又例如，在图5所示的待测量物体中，上底面和下底面均为五边形，待测量物体为规则形状。

本申请实施例中，类规则形状包括至少一个面是切角矩形的规则形状、规则形状中至少一个面中存在凸起部分和/或凹陷部分。例如，图6所示为切角三角形；图7所示为切角矩形；图8所示为切角矩形。图9所示物体的形状为类规则形状。又例如，图10所示的微波炉为类规则形状。

本申请实施例中，将以待测量物体的几何中心为起点、且与重力方向平行的向量，称为参考向量。将参考向量的正方向所指向的底面称为下底面，将参考向量的负方向所指向的底面称为上底面。将待测量物体上除上底面和下底面之外的面称为侧面。例如，在图4所示的待测量物体中，平面ABCD为上底面，平面EFG为下底面，平面ABFE和平面BCGF为侧面。

可选的，测量装置依据二维成像设备采集二维图像时的陀螺仪数据，确定二维图像中的重力方向，进而可确定待测量物体的上底面和待测量物体的下底面。

测量装置在执行上述步骤的基础上还执行以下步骤：

10、获取上述第三角点在上述像素坐标系下的坐标，并从上述深度图中获取第三角点的深度值。

本申请实施例中，第三角点属于侧面，即第三角点为侧面中的角点。第三角点与第一角点之间的连线为待测量物体的高度边，其中，高度边指长度为待测量物体的高度的边。例如，图4所示的待测量物体中，AE、BF、CG三条边的长度均可用于表示待测量物体的高度，即AE、BF、CG均为高度边。

11、依据上述内部参数、上述第三角点的深度值和上述第三角点在上述像素坐标系下的坐标，得到上述第三角点在上述相机坐标系下的第三像点。

测量装置依据内部参数，对第三角点在二维图像的像素坐标系下的坐标和第三角点的深度值进行转换，可得到第三角点在相机坐标系下的像点，即第三像点。

12、确定上述第一像点和上述第三像点之间的距离，作为上述待测量物体的高度。

可选的，测量装置通过对二维图像进行角点检测处理，不仅可得到待测量物体的角点在二维图像中的坐标，还可得到待测量物体的下底面内的角点的置信度。例如(例2)，测量装置对图4进行角点检测处理，确定待测量物体的下底面内的角点包括：点E、点F、点G，并得到点E在图像中的位置、点F在图像中的位置、点G在图像中的位置，同时还可得到点E在图像中的位置的置信度、点F在图像中的位置的置信度、点G在图像中的位置的置信度。

测量装置从待测量物体的下底面中选取置信度最大的k个角点，作为高度角点。通过计算高度角点所在高度边的长度的均值，作为待测量物体的高度。接着例2继续举例，假设k＝2，点E在图像中的位置的置信度大于点F在图像中的位置的置信度，点F在图像中的位置的置信度大于点G在图像中的位置的置信度。此时，点E和点F为高度角点。测量装置计算AE和BF的长度均值，作为待测量物体的高度。

作为一种可选的实施方式，测量装置在执行步骤7之前，还执行以下步骤：

13、确定上述待测量面的几何中心，得到第三点。

本申请实施例中，在待测量面的形状为规则形状或类规则形状的情况下，第三点为待测量面的几何中心。在待测量面的形状不是规则形状或待测量面的形状不是类规则形状(如图11所示的形状)的情况下，测量装置可从待测量面中任意选取一个点作为待确认点。

可选的，测量装置确定待确认点到待测量面的至少一个角点之间的距离，得到角点距离集。测量装置计算角点距离集中的距离和，得到角点距离和。测量装置将角点距离和的最小值所对应的待确认点作为第三点。

例如，待测量面包括以下四个角点：角点1、角点2、角点3。测量装置从待测量面中任取一个点，作为待确认点。测量装置依据角点1在二维图像的像素坐标系下的坐标和待确认点在二维图像的像素坐标系下的坐标(应理解，待确认点在二维图像的像素坐标系下的坐标为未知数)，得到待确认点与角点1之间的距离，作为距离1；测量装置依据角点2在二维图像的像素坐标系下的坐标和待确认点在二维图像的像素坐标系下的坐标，得到待确认点与角点2之间的距离，作为距离2；测量装置依据角点3在二维图像的像素坐标系下的坐标和待确认点在二维图像的像素坐标系下的坐标，得到待确认点与角点3之间的距离，作为距离3。此时，角点距离集包括：距离1、距离2、距离3。测量装置计算距离1、距离2和距离3的和，得到角点距离和。测量装置通过计算角点距离和的最小值，可得到待确认点的坐标，进而依据该坐标得到第三点。

14、以上述第三点为中心，构建面积为第一值的待选取区域。

本申请实施例中，第一值小于待测量面的面积。第一值的具体大小可依据实际需求进行设置。具体的，第一值越小，待选取区域不包含待测量面的边缘的概率就越大。由于距离待测量面的几何中心越近的点，深度图中该点的深度值的准确度越高，第一值越小，深度图中待选取区域内的点的深度值的准确度越高。

15、从上述待选取区域中选取至少三个点作为上述至少三个第一点。

测量装置通过从待选取区域中选取至少三个点作为至少三个第一点，可提高至少三个第一点的深度值的准确度，进一步可提高投影平面的准确度，进而提高第一像点的坐标的准确度和第二像点的坐标的准确度，从而提高第一角点和第二角点之间的距离的准确度。

作为一种可选的实施方式，在待测量面为矩形的情况下，测量装置可通过以下步骤从待测量面中选取至少三个第一点：

16、从待测量面的对角线中选取待选线段，其中，该待选线段的中点为该对角线的中点，该对角线的长度与对角线的长度的比值为第二值。可选的，上述第二值为1/2。

17、从待选线段中选取至少三个点作为上述至少三个第一点。

由于待测量物体通常放置于地面或桌面，待测量物体的上底面处于空气中，通过深度摄像头采集到的上底面中边界上的点的深度值误差较大。因此，在测量待测量物体的尺寸时，可通过校正上底面中边界上的点的深度值，提高待测量物体的尺寸的精度。可选的，待测量面为待测量物体的上底面。

在上底面还包括不同于第二角点的第四角点、第四角点和第二角点均与第一角点相邻的情况下，测量装置可将第一角点与第二角点之间的距离作为上底面的长，并使用前文所公开的技术方案，得到第一角点与第四角点之间的距离作为待测量物体的宽。测量装置可将第一角点与第二角点之间的距离作为待测量物体的宽，并使用前文所公开的技术方案，得到第一角点与第四角点之间的距离作为上底面的长。

例如，在图4所示的待测量物体中，ABCD为上底面。假设第一角点为A、第二角点为B，则第四角点为D。测量装置将AB的长度作为待测量物体的长，并将AD的长度作为待测量物体的宽。

在得到待测量物体的长和宽，并结合通过执行步骤10～步骤12得到的待测量物体的高度，即可得到待测量物体的尺寸。

作为一种可选的实施方式，二维成像设备包括RGB摄像头，RGB摄像头属于终端，终端还包括深度摄像头。即在该种实施方式中，测量装置为终端。

终端在执行步骤301之前，还执行以下步骤：

18、在接收到针对上述待测量物体的测量指令的情况下，上述终端使用上述RGB摄像头对上述待测量物体进行拍摄，得到上述二维图像。

本申请实施例中，测量指令包括以下至少一种：语音数据、文字、点击操作、触摸操作。

终端通过执行以下步骤获取二维图像的深度图：19、在接收到上述测量指令的情况下，上述终端使用上述深度摄像头对上述待测量物体进行拍摄，得到上述深度图。

基于本申请实施例提供的技术方案，本申请实施例还提供了几种可能的应用场景。

场景1：在日常生活中，人们经常需要测量一些物体(如：纸箱、桌子、柜子)的尺寸。对人们而言，使用尺子测量物体的尺寸既耗时又耗力。而随着科技的发展，终端的硬件配置越来越高，终端使用本申请实施例公开的技术方案即能测量物体的尺寸。

具体的，终端装载有RGB摄像头和深度摄像头，其中，RGB摄像头用于采集包含待测量物体的RGB图像(如上述二维图像)，深度摄像头用于采集包含待测量物体的深度图。终端使用上述技术方案对采集到的RGB图像和深度图进行处理，可得到待测量物体的尺寸。

例如，小明联系了搬家公司帮忙搬家，但搬家公司需要小明告知需要搬的东西的尺寸，因此小明需要测量需要搬的东西的尺寸。由于需要搬的东西较多，用尺子测量这些东西(如桌子、柜子、洗衣机，下文将称为待测量物体)的尺寸较麻烦。因此，小明使用装载有RGB摄像头和TOF摄像头的手机对待测量物体进行拍摄，得到包含待测量物体的RGB图像和RGB图像的深度图。手机进而可使用上述公开的技术方案对RGB图像和深度图就行处理，得到待测量物体的尺寸。这样，小明就不用使用尺子去测量待测量物体的尺寸，只需使用手机对待测量物体进行拍摄，即可获知待测量物体的尺寸。

场景2：随着电商快速发展，越来越多的人通过电商进行购物，这也给物流行业带来了更多的挑战，其中，就包括提高测量待配送货物的尺寸的效率。

如今的物流配送越发规范，在运送待配送货物之前，均会用纸箱对待配送货物进行包装。由于纸箱的形状均为长方体，终端使用本申请实施例公开的技术方案可准确测量纸箱的尺寸。例如，物流公司的工作人员可使用装载有RGB摄像头和TOF摄像头的终端(如手机、平板电脑)对待测量纸箱进行拍摄，得到包含待测量纸箱的RGB图像和RGB图像的深度图。终端进而可使用上述公开的技术方案对RGB图像和深度图就行处理，得到待测量纸箱的尺寸。这样，可降低测量纸箱尺寸所需的人力成本，提高测量纸箱尺寸的效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图12，图12为本申请实施例提供的一种测量装置的结构示意图，该测量装置1包括：获取单元11、第一处理单元12、第二处理单元13、RGB摄像头14、深度摄像头15，其中：

获取单元11，用于获取待测量面在二维成像设备的相机坐标系下的投影平面；所述待测量面属于二维图像中的待测量物体；所述二维图像通过所述二维成像设备采集得到；

第一处理单元12，用于从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点；所述第一角点和所述第二角点均属于所述待测量面；

第二处理单元13，用于确定所述第一像点与所述第二像点之间的距离，作为所述第一角点与所述第二角点之间的距离。

结合本申请任一实施方式，所述第一处理单元12，用于：

依据所述第一坐标与所述第三坐标，得到所述第一直线；

依据所述第二坐标与所述第三坐标，得到所述第二直线。

结合本申请任一实施方式，所述获取单元11，用于：

从所述深度图中获取所述至少三个第一点的深度值；

结合本申请任一实施方式，所述待测量物体的形状为规则形状或类规则形状，所述待测量面为所述待测量物体的上底面，所述获取单元11，还用于获取所述第三角点在所述像素坐标系下的坐标，并从所述深度图中获取第三角点的深度值；所述第三角点与所述第一角点之间的连线为所述待测量物体的高度边；

所述第一处理单元12，还用于依据所述内部参数、所述第三角点的深度值和所述第三角点在所述像素坐标系下的坐标，得到所述第三角点在所述相机坐标系下的第三像点；

所述第二处理单元13，还用于确定所述第一像点和所述第三像点之间的距离，作为所述待测量物体的高度。

结合本申请任一实施方式，所述第一处理单元12，还用于：

结合本申请任一实施方式，所述二维成像设备包括RGB摄像头14；所述RGB摄像头14属于所述测量装置；所述测量装置1还包括深度摄像头15；

在所述获取待测量面在二维成像设备的相机坐标系下的投影平面之前，在接收到针对所述待测量物体的测量指令的情况下，所述测量装置1使用所述RGB摄像头14对所述待测量物体进行拍摄，得到所述二维图像；

在接收到所述测量指令的情况下，所述测量装置1使用所述深度摄像头15对所述待测量物体进行拍摄，得到所述深度图。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图13为本申请实施例提供的一种测量装置的硬件结构示意图。该测量装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的投影平面，又或者该存储器22还可用于存储通过处理器21得到的第一角点与第二角点之间的距离等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图13仅仅示出了一种测量装置的简化设计。在实际应用中，测量装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的测量装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims

1.一种测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述从所述投影平面中确定与第一角点对应的第一像点，以及与第二角点对应的第二像点，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取过所述第一角点和所述二维成像设备的光心的第一直线，以及过所述第二角点和所述光心的第二直线，包括：

依据所述第一坐标与所述第三坐标，得到所述第一直线；

依据所述第二坐标与所述第三坐标，得到所述第二直线。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述获取待测量面在二维成像设备的相机坐标系下的投影平面，包括：

从所述深度图中获取所述至少三个第一点的深度值；

5.根据权利要求4所述的方法，其特征在于，所述待测量物体的形状为规则形状或类规则形状，所述待测量面为所述待测量物体的上底面，所述方法还包括：

6.根据权利要求4或5所述的方法，其特征在于，在所述从所述深度图中获取所述待测量面中至少三个第一点的深度值之前，所述方法还包括：

确定所述待测量面的几何中心，得到第三点；

7.根据权利要求4至6中任意一项所述的方法，其特征在于，所述二维成像设备包括RGB摄像头；所述RGB摄像头属于终端；所述终端还包括深度摄像头；

所述获取所述二维图像的深度图，包括：

8.一种测量装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至7中任意一项所述的方法。