CN110276317A - 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 - Google Patents

Abstract

本申请公开了一种物体尺寸检测方法、物体尺寸检测装置、移动终端及计算机可读存储介质，包括：获取在预设的时间段内移动终端的惯性测量数据及图像序列；基于输入的选择指令，在图像序列的指定图像中确定待检测物体；根据惯性测量数据及图像序列进行第一场景的重建，得到重建后的场景重建图像；对场景重建图像进行点云分割，以得到待检测物体的点云；在场景重建图像中生成与待检测物体相关联的包围盒；将包围盒与待检测物体的点云进行拟合，得到目标包围盒；输出目标包围盒的参数信息。通过本申请提出了一种更具备普适性的物体尺寸检测方法，可降低利用移动终端进行物体尺寸检测的成本，并协助用户获得物体完整的三维信息。

Description

一种物体尺寸检测方法、物体尺寸检测装置及移动终端

技术领域

本申请属于增强现实技术领域，尤其涉及一种物体尺寸检测方法、物体尺寸检测装置、移动终端及计算机可读存储介质。

背景技术

当前，以智能手机为代表的移动终端，体现出了丰富多样的应用价值，用户不仅可以用移动终端进行各项娱乐活动，还可以将移动终端作为辅助工具来实现场景中特定目标的测量。目前大部分的测量方案都是通过深度相机扫描物体点云后进行尺寸测量，此外也有通过二维像素标定的方式，估计出物体的尺寸，更为常见的还有将虚拟尺显示在屏幕以供测量使用。然而，现有的物体尺寸测量方案通常是针对特定物体的测量，减小了可检测的物体范围，同时难以获得物体的完整三维信息

发明内容

有鉴于此，本申请提供了一种物体尺寸检测方法、物体尺寸检测装置、移动终端及计算机可读存储介质，使得物体尺寸检测方法更具备普适性，可降低利用移动终端进行物体尺寸检测的成本，并协助用户获得物体完整的三维信息。

本申请的第一方面提供了一种物体尺寸检测方法，包括：

获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像；

基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

对上述场景重建图像进行点云分割，以得到上述待检测物体的点云；

在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

输出上述目标包围盒的参数信息。

本申请的第二方面提供了一种物体尺寸检测装置，包括：

数据获取单元，获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像；

物体确定单元，用于基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

场景重建单元，用于根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

点云获取单元，用于对上述场景重建图像进行点云分割，以得到上述待检测物体的点云；

包围盒生成单元，用于在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

包围盒拟合单元，用于将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

参数输出单元，用于输出上述目标包围盒的参数信息。

本申请的第三方面提供了一种移动终端，上述移动终端包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

由上可见，在本申请方案中，首先获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像，随后基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体，同时根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像，接着对上述场景重建图像进行点云分割，以得到上述待检测物体的点云，随后在上述场景重建图像中生成与上述待检测物体相关联的包围盒，再将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒，最后输出上述目标包围盒的参数信息。通过本申请方案，利用移动终端的摄像头及惯性测量单元即可实现对物体尺寸的检测，使得物体尺寸检测方法更具备普适性，一定程度上降低了利用移动终端进行物体尺寸检测的成本，同时还可协助用户获得物体完整的三维信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的物体尺寸检测方法的实现流程示意图；

图2是本申请实施例提供的物体尺寸检测方法中步骤102的具体实现流程示意图；

图3是本申请实施例提供的物体尺寸检测方法中步骤105的具体实现流程示意图；

图4是本申请实施例提供的物体尺寸检测方法中步骤106的具体实现流程示意图；

图5是本申请实施例提供的物体尺寸检测装置的结构框图；

图6是本申请实施例提供的移动终端的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。

实施例一

在本申请实施例中，流程的执行主体为移动终端。该移动终端包括但不限于：平板电脑以及智能手机等能够执行物体尺寸检测操作的设备。图1示出了本申请实施例一提供的物体尺寸检测方法的实现流程图，详述如下：

在步骤101中，获取在预设的时间段内移动终端的惯性测量数据及图像序列；

在本申请实施例中，上述图像序列为包含第一场景的两个以上图像。在用户存在物体尺寸检测需求时，用户可以先启动移动终端的摄像头对需要检测尺寸的物体进行拍摄，以获得包含第一场景的若干帧图像，并将该若干帧图像以时间顺序组成图像序列，需要注意的是，上述第一场景中包含有用户需要进行尺寸检测的物体对象。可选地，可以是通过摄像头进行拍摄操作得到视频，将视频作为图像序列；或者，也可以是用户通过摄像头进行多次拍照操作后，将多次拍照得到的多帧图像作为图像序列，此处不作限定。在用户通过摄像头得到图像序列的同时，移动终端还可以记录下惯性测量数据，该惯性测量数据具体通过移动终端的惯性测量单元(Inertial measurement unit，IMU)而获得，包括移动终端的加速度数据及角速度数据。

在步骤102中，基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

在本申请实施例中，上述图像序列的指定图像可以是图像序列的第一帧图像，也可以是最后一帧图像，还可以是随机指定的任一帧图像，此处不作限定。用户通过在上述指定图像中输入选择指令，确定需要进行尺寸检测操作的待检测物体。可选地，请参照图2，上述步骤102具体包括：

在步骤1021中，根据预设的目标分割算法对上述指定图像进行语义分割；

在本申请实施例中，上述目标分割算法可以采用当前主流的深度学习图像语义分割模型而构建，例如MaskRCNN等，以实现对上述指定图像的语义分割。具体地，语义分割操作可以从上述指定图像中分割出对象区域，并识别其中的内容；也即是说，划分出上述指定图像中属于同一物体的像素点。通过上述语义分割操作，可以得到一个或多个语义分割结果。进一步地，考虑到数据处理的资源成本及时间成本，此处可以是将上述指定图像上传至预设的云端服务器进行语义分割处理，在该云端服务器处理完成后，再将语义分割结果传回至上述移动终端，此处不作限定。

在步骤1022中，若存在两个以上语义分割结果，则基于上述选择指令的输入坐标，计算各个语义分割结果与上述输入坐标的距离；

在本申请实施例中，统计上述语义分割结果的数量，若上述语义分割结果只有一个，则认为上述指定图像中只存在唯一一个物体，也即用户仅可以选择对该唯一的物体进行尺寸检测，因而，在仅存在一个语义分割结果的情况下，此时无论是否接收到用户输入的选择指令，均将该唯一的语义分割结果作为待检测物体；若上述语义分割结果有两个以上，则认为上述指定图像中存在多个物体，此时需要基于用户所输入的选择指令作出选择，具体地，在本步骤中，可以计算各个语义分割结果与上述输入坐标的距离。考虑到物体形状不一，此处所计算的距离可以是语义分割结果的质心与上述输入坐标的距离，或者，也可以是将语义分割结果的轮廓与上述输入坐标的最小距离作为上述语义分割结果与上述输入坐标的距离，此处不作限定。

在步骤1023中，将与上述输入坐标的距离最小的语义分割结果确定为待检测物体。

在本申请实施例中，比较各个语义结果与上述输入坐标的距离，将其中与上述输入坐标的距离最小的语义分割结果确定为待检测物体，也即，将最靠近上述输入坐标的语义分割结果确定为待检测物体。通过上述步骤1021至步骤1023，使得用户可以自主指定需要进行尺寸检测操作的待检测物体。

在步骤103中，根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

在本申请实施例中，上述稠密重建的过程涉及两个步骤，包括VIO(visual-inertial odometry)算法的运行及基于稠密光流的建图。下面，先对其中基于VIO算法的步骤作出说明：该算法的输入数据为图像序列及惯性测量数据；输出数据为每帧图像的位姿，也即每帧图像的旋转及平移情况，考虑到当前VIO算法已经比较成熟，其可大致分为滤波和优化两种方向，而根据惯性测量数据和图像数据的关联，又可分为松耦合和紧耦合两种。本申请实施例采用基于紧耦合的优化方案，例如VINS方案来实现，其算法流程包括：数据预处理，使得图像序列中的各帧图像与惯性测量数据的时间戳对齐；图像特征提取，并进行光流跟踪；对惯性测量数据进行预积分，并更新协方差；尝试初始化，具体为根据图像特征的匹配信息计算位姿，并进行SFM(Structure From Motion)，同时从尺度、角速度bais以及重力方向进行估计；利用预积分推测当前图像的姿态，再利用视觉信息和惯性测量数据进行LocalBA优化，估计当前图像的位置；该算法中还包括划窗处理，用于维护优化窗口内的信息。通过上述VIO算法，可以计算出图像两帧之间的相对变换。考虑到VIO是较为常见的算法，此处不再对该算法进行进一步说明。

其次，再对基于稠密光流的建图步骤作出说明：在获得每一帧图像的位姿之后，可以采用多种方法进行半稠密三维重建。在本申请实施例中，采用稠密光流法来获进行场景重建。稠密光流方法也有多种，主要是跟踪图像中像素点的运动情况，具体地，这里以DIS(depth inverse search)算法为例来进行说明，其算法流程如下：或者每帧图像及其对应的位姿；利用稠密光流算法跟踪，获得每个像素的运动视差；根据每个像素的跟踪过程，建立地图(map)点以及对应的观察帧信息；求解地图(map)点的位置，利用多帧信息建立最小二乘问题，利用奇异值分解(Singular Value Decomposition，SVD)即可求出；对地图(map)点进行滤波和平滑处理。通过以上DIS算法，采用稠密光流进行跟踪，获得每个像素前后的运动视差，以最终获得场景下的稠密点云地图。

可见，在本申请实施例中，在获得稠密光流和每帧的相对变换之后，即可采用常规的单目重建方法，以光流视差作为两帧点的匹配结果，三角化每个像素的深度，并在后续帧中，不断更新和优化像素点的深度，形成场景的稠密重建，得到场景重建图像。

在步骤104中，对上述场景重建图像进行点云分割，以得到上述待检测物体的点云；

在本申请实施例中，考虑到点云为三维信息，此处为了获取上述待检测物体的点云，可以先获取上述移动终端的相机参数及相机位姿，然后根据上述相机参数及上述相机位姿，将上述待检测物体投影至上述场景重建图像中，才能得到上述待检测物体的点云。具体地，由于上述待检测物体实际上为属于同一物体的像素点集合{p_s}，在获知了相机参数k之后，基于该相机参数k可以将该像素点集合{p_s}变换到相机坐标系下归一化平面的位置为同时将场景重建图像中的点云数据{P}乘以当前该指定图像的姿态T_c ^w，再进行深度归一化之后，得到相机归一化平面中的点{P_c}；最后判定{P_c}的语义是否为离其最近的点的语义。通过该上述方式经过简单滤波处理即可实现点云分割，得到上述待检测物体的点云。

在步骤105中，在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

在本申请实施例中，上述场景重建图像并不在移动终端的前台进行显示，而仅在移动终端的数据处理过程中在后台出现，也即，该场景重建图像是用户不可见的。当得到重建后的场景重建图像后，移动终端可以在在上述场景重建图像中生成与上述待检测物体相关联的包围盒，通过上述包围盒来逼近上述待检测物体的形态，使得复杂的物体能够得到简单化处理。可选地，请参照图3，上述步骤105具体包括：

在步骤1051中，对上述待检测物体进行物体识别后，获知上述待检测物体的物体类别；

在本申请实施例中，可以先对上述待检测物体进行物体识别，以获知该待检测物体在显示中具体属于哪一物体类别。例如，该待检测物体的物体类别可以是一本书，或者是一个花瓶等等。可以认为，此处所提出的物体类别为待检测物体的产品类别。

在步骤1052中，基于上述物体类别确定上述待检测物体的几何类别；

在本申请实施例中，在获知了上述待检测物体的物体类别后，可以基于该物体类别确定待检测物体的集合类别，例如，通常来说，书是近似于长方体的，花瓶是近似于圆柱体的，则当上述待检测物体是一本书时，可以确定其几何类别为长方体；当上述待检测物体是一个花瓶时，可以确定其几何类别为圆柱体。

在步骤1053中，根据上述几何类别生成包围盒。

在本申请实施例中，根据上述待检测物体的几何类别，选择生成对应的包围盒，可以预先设定多种包围盒的类型，包括球体、圆柱、长方体及立方体等等。例如，当待检测物体是一本书时，其几何类别为长方体，则此处可以生成长方体形态的包围盒。

在步骤106中，将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

在本申请实施例中，由于点云是物体外观表面的点数据集合，因而上述待检测物体的点云可以一定程度上代表上述待检测物体的真实形状、真实尺寸等特征。基于此，可以将所生成的包围盒与上述待检测物体的点云进行拟合，得到接近上述待检测物体真实形状、真实尺寸等特征的目标包围盒。可选地，请参照图4，上述步骤106具体包括：

在步骤1061中，根据上述包围盒相对于竖直方向的倾斜角度及尺寸参数，建立上述包围盒与上述点云的目标函数；

在本申请实施例中，将上述点云的质心位置作为上述包围盒的初始位置，实现包围盒与待检测物体的点云的初始对齐，然后根据惯性测量数据估计出当前重力反方向，将该重力反方向作为竖直向上的方向。以生活中所遇见的物体为参照，大多数的规则物体，自然情况下均平行于重力方向。因而，此时对于包围盒的姿态，只需要估计其在竖直方向上的倾斜角度θ，以及包围盒本身的尺寸参数s。对于尺寸参数来说，以包围盒为圆柱为例，该包围盒的尺寸参数为高度及半径；以包围盒为体长方体为例，该包围盒的尺寸参数为长、宽和高，此处不再对其它各个类型的包围盒的尺寸参数作出举例说明。基于上述倾斜角度θ和尺寸参数s建立目标函数，上述目标函数指示了上述包围盒在将上述点云包裹在内后，上述包围盒的剩余空间。

在步骤1062中，计算得到上述目标函数的最优解；

在本申请实施例中，上述最优解指的是上述包围盒在将上述点云包裹在内后，使得上述包围盒的剩余空间最小的目标函数的解，其中，由于目标函数是基于倾斜角度及尺寸参数所构建的，因而所得到的最优解包括最优倾斜角度及最优尺寸参数。

在步骤1063中，基于上述最优解对上述包围盒进行调整，得到目标包围盒。

在本申请实施例中，在最优解下所形成的包围盒即为目标包围盒，其可以得到包围盒的最佳尺寸及最佳倾斜角度，从而得到该目标包围盒在空间中的姿态。

在步骤107中，输出上述目标包围盒的参数信息。

在本申请实施例，由于上述目标包围盒近似地代表了上述待检测物体，因而，可以近似地将上述目标包围盒的参数信息看做上述待检测物体的参数信息，基于此，可以向用户输出上述目标包围盒的参数信息。可选地，上述参数信息可以以文字的形式输出，或者，也可以以语音的形式输出。进一步地，考虑到拟合的过程中主要是对包围盒的倾斜角度及尺寸参数进行调整，因而，此处所输出的参数信息具体包括包围盒的倾斜角度以及包围盒的尺寸。可选地，当以文字的形式输出上述参数信息时，可以先基于上述待检测物体在上述指定图像中的位置，确定目标显示区域，然后在上述目标现实区域输出上述目标包围盒，并显示上述包围盒的倾斜角度及尺寸参数，实现以AR的方式显示用户所需要获知的参数信息及目标包围盒。例如，上述待检测物体为一本书，则上述包围盒可以被选定为长方体，拟合得到的与上述待检测物体最接近的长方体可以在待检测物体的上方区域显示，同时标注出上述目标包围盒的长(l)、宽(w)、高(h)等尺寸参数及上述目标包围盒相对于竖直方向的倾斜角度(θ)。进一步地，用户还可以在上述指定图像中输入滑动指令和/或缩放指令，移动终端可以基于上述滑动指令对上述目标包围盒进行选装，还可以基于上述缩放指令对上述目标包围盒进行放大或缩小，使得用户可以对上述目标包围盒的全角度查阅，帮助用户更好地确定目标包围盒(也即待检测物体)的状态，形成更加具有沉浸感的尺寸和类型显示。

由上可见，通过本申请实施例，以惯性测量数据以及图像序列作为输入，通过场景重建、点云分割等步骤实现对待检测物体的尺寸参数的估计，并最终以AR的方式显示检测结果，可通过较少的输入检测多种类型的物体的尺寸，相比于三维采集设备来说更加便捷和低成本，且能够协助用户获得物体完整的三维信息。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二

本申请实施例二提供了一种物体尺寸检测装置，上述物体尺寸检测装置可集成于移动终端中，如图5所示，本申请实施例中的物体尺寸检测装置500包括：

数据获取单元501，获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像；

物体确定单元502，用于基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

场景重建单元503，用于根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

点云获取单元504，用于对上述场景重建图像进行点云分割，以得到上述待检测物体的点云；

包围盒生成单元505，用于在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

包围盒拟合单元506，用于将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

参数输出单元507，用于输出上述目标包围盒的参数信息。

可选对，上述物体确定单元502包括：

语义分割子单元，用于根据预设的目标分割算法对上述指定图像进行语义分割；

距离计算子单元，用于若存在两个以上语义分割结果，则基于上述选择指令的输入坐标，计算各个语义分割结果与上述输入坐标的距离；

物体确定子单元，用于将与上述输入坐标的距离最小的语义分割结果确定为待检测物体。

可选地，上述包围盒生成单元505包括：

物体类别确定子单元，用于对上述待检测物体进行物体识别后，获知上述待检测物体的物体类别；

几何类别确定子单元，用于基于上述物体类别确定上述待检测物体的几何类别；

包围盒生成子单元，用于根据上述几何类别生成包围盒。

可选地，上述包围盒拟合单元506包括：

函数建立子单元，用于根据上述包围盒相对于竖直方向的倾斜角度及尺寸参数，建立上述包围盒与上述点云的目标函数，其中，上述目标函数指示了上述包围盒在将上述点云包裹在内后，上述包围盒的剩余空间；

最优解求解子单元，用于计算得到上述目标函数的最优解，其中，上述最优解包括最优倾斜角度及最优尺寸参数；

包围盒调整子单元，用于基于上述最优解对上述包围盒进行调整，得到目标包围盒。

可选地，上述参数输出单元507包括：

区域确定子单元，用于基于上述待检测物体在上述指定图像中的位置，确定目标显示区域；

参数显示子单元，用于在上述目标现实区域输出上述目标包围盒，并显示上述包围盒的倾斜角度及尺寸参数。

可选地，上述点云获取单元504包括：

相机数据获取子单元，用于获取上述移动终端的相机参数及相机位姿；

投影子单元，用于根据上述相机参数及上述相机位姿，将上述待检测物体投影至上述场景重建图像中，得到上述待检测物体的点云。

由上可见，通过本申请实施例，物体尺寸检测装置以惯性测量数据以及图像序列作为输入，通过场景重建、点云分割等步骤实现对待检测物体的尺寸参数的估计，并最终以AR的方式显示检测结果，可通过较少的输入检测多种类型的物体的尺寸，相比于三维采集设备来说更加便捷和低成本，且能够协助用户获得物体完整的三维信息。

实施例三

本申请实施例三提供了一种移动终端，请参阅图6，本申请实施例中的移动终端6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及模块，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像；

基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

对上述场景重建图像进行点云分割，以得到上述待检测物体的点云；

在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

输出上述目标包围盒的参数信息。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，上述图像序列为包含第一场景的两个以上图像；

基于输入的选择指令，在上述图像序列的指定图像中确定待检测物体；

根据上述惯性测量数据及上述图像序列进行第一场景的重建，得到重建后的场景重建图像；

在上述场景重建图像中生成与上述待检测物体相关联的包围盒；

将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒；

输出上述目标包围盒的参数信息。

在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述在上述场景重建图像中生成与上述待检测物体相关联的包围盒，包括：

对上述待检测物体进行物体识别后，获知上述待检测物体的物体类别；

基于上述物体类别确定上述待检测物体的几何类别；

根据上述几何类别生成包围盒。

在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述将上述包围盒与上述待检测物体的点云进行拟合，得到目标包围盒，包括：

根据上述包围盒相对于竖直方向的倾斜角度及尺寸参数，建立上述包围盒与上述点云的目标函数，其中，上述目标函数指示了上述包围盒在将上述点云包裹在内后，上述包围盒的剩余空间；

计算得到上述目标函数的最优解，其中，上述最优解包括最优倾斜角度及最优尺寸参数；

基于上述最优解对上述包围盒进行调整，得到目标包围盒。

在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述输出上述目标包围盒的参数信息，包括：

基于上述待检测物体在上述指定图像中的位置，确定目标显示区域；

在上述目标现实区域输出上述目标包围盒，并显示上述包围盒的倾斜角度及尺寸参数。

在上述第一种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述对上述场景重建图像进行点云分割，以得到上述待检测物体的点云，包括：

获取上述移动终端的相机参数及相机位姿；

根据上述相机参数及上述相机位姿，将上述待检测物体投影至上述场景重建图像中，得到上述待检测物体的点云。

进一步，如图6所示，上述移动终端还可包括：一个或多个输入设备603(图6中仅示出一个)和一个或多个输出设备604(图6中仅示出一个)。存储器601、处理器602、输入设备603和输出设备604通过总线605连接。

应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备603可以包括键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备604可以包括显示器、扬声器等。

存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类型的信息。

由上可见，通过本申请实施例，移动终端以惯性测量数据以及图像序列作为输入，通过场景重建、点云分割等步骤实现对待检测物体的尺寸参数的估计，并最终以AR的方式显示检测结果，可通过较少的输入检测多种类型的物体的尺寸，相比于三维采集设备来说更加便捷和低成本，且能够协助用户获得物体完整的三维信息。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种物体尺寸检测方法，其特征在于，包括：

获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，所述图像序列为包含第一场景的两个以上图像；

基于输入的选择指令，在所述图像序列的指定图像中确定待检测物体；

根据所述惯性测量数据及所述图像序列进行第一场景的重建，得到重建后的场景重建图像；

对所述场景重建图像进行点云分割，以得到所述待检测物体的点云；

在所述场景重建图像中生成与所述待检测物体相关联的包围盒；

将所述包围盒与所述待检测物体的点云进行拟合，得到目标包围盒；

输出所述目标包围盒的参数信息。

2.如权利要求1所述的物体尺寸检测方法，其特征在于，所述基于输入的选择指令，在所述图像序列的指定图像中确定待检测物体，包括：

根据预设的目标分割算法对所述指定图像进行语义分割；

若存在两个以上语义分割结果，则基于所述选择指令的输入坐标，计算各个语义分割结果与所述输入坐标的距离；

将与所述输入坐标的距离最小的语义分割结果确定为待检测物体。

3.如权利要求1所述的物体尺寸检测方法，其特征在于，所述在所述场景重建图像中生成与所述待检测物体相关联的包围盒，包括：

对所述待检测物体进行物体识别后，获知所述待检测物体的物体类别；

基于所述物体类别确定所述待检测物体的几何类别；

根据所述几何类别生成包围盒。

4.如权利要求1所述的物体尺寸检测方法，其特征在于，所述将所述包围盒与所述待检测物体的点云进行拟合，得到目标包围盒，包括：

根据所述包围盒相对于竖直方向的倾斜角度及尺寸参数，建立所述包围盒与所述点云的目标函数，其中，所述目标函数指示了所述包围盒在将所述点云包裹在内后，所述包围盒的剩余空间；

计算得到所述目标函数的最优解，其中，所述最优解包括最优倾斜角度及最优尺寸参数；

基于所述最优解对所述包围盒进行调整，得到目标包围盒。

5.如权利要求4所述的物体尺寸检测方法，其特征在于，所述输出所述目标包围盒的参数信息，包括：

基于所述待检测物体在所述指定图像中的位置，确定目标显示区域；

在所述目标现实区域输出所述目标包围盒，并显示所述包围盒的倾斜角度及尺寸参数。

6.如权利要求1所述的物体尺寸检测方法，其特征在于，所述对所述场景重建图像进行点云分割，以得到所述待检测物体的点云，包括：

获取所述移动终端的相机参数及相机位姿；

根据所述相机参数及所述相机位姿，将所述待检测物体投影至所述场景重建图像中，得到所述待检测物体的点云。

7.一种物体尺寸检测装置，其特征在于，包括：

数据获取单元，获取在预设的时间段内移动终端的惯性测量数据及图像序列，其中，所述图像序列为包含第一场景的两个以上图像；

物体确定单元，用于基于输入的选择指令，在所述图像序列的指定图像中确定待检测物体；

场景重建单元，用于根据所述惯性测量数据及所述图像序列进行第一场景的重建，得到重建后的场景重建图像；

点云获取单元，用于对所述场景重建图像进行点云分割，以得到所述待检测物体的点云；

包围盒生成单元，用于在所述场景重建图像中生成与所述待检测物体相关联的包围盒；

包围盒拟合单元，用于将所述包围盒与所述待检测物体的点云进行拟合，得到目标包围盒；

参数输出单元，用于输出所述目标包围盒的参数信息。

8.如权利要求7所述的物体尺寸检测装置，其特征在于，所述物体确定单元包括：

语义分割子单元，用于根据预设的目标分割算法对所述指定图像进行语义分割；

距离计算子单元，用于若存在两个以上语义分割结果，则基于所述选择指令的输入坐标，计算各个语义分割结果与所述输入坐标的距离；

物体确定子单元，用于将与所述输入坐标的距离最小的语义分割结果确定为待检测物体。

9.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。