CN110006340A - 一种物体尺寸测量方法和电子设备 - Google Patents

Abstract

本发明提供了一种物体尺寸测量方法和电子设备，所述方法包括：电子设备检测到第一操作；响应于所述第一操作，启动摄像头，显示预览图像；所述预览图像中包括至少一个对象；在所述预览图像上确定测量选择点；根据所述测量选择点，从所述至少一个对象中确定第一对象；根据所述第一对象的深度信息，确定所述第一对象的三维边缘轮廓；根据所述三维边缘轮廓，确定所述第一对象的外接多边形；确定所述外接多边形的尺寸；在所述预览图像中显示所述外接多边形以及所述外接多边形的尺寸。电子设备可以实现测量物体的三维尺寸的功能。

Description

一种物体尺寸测量方法和电子设备

技术领域

本发明涉及终端技术领域，尤其涉及一种物体尺寸测量方法和电子设备。

背景技术

在不同的技术领域，比如工程建筑领域，机械制造领域等等，都需测量物体的尺寸，目前，不同技术领域的技术人员通常是通过特定的测量工具来测量物体的尺寸，比如卷尺等。对于非技术人员来说，可能并不会随身携带卷尺等测量工具，因此，需要开发出用户能够随时测量物体尺寸的产品。

发明内容

本发明提供了一种物体尺寸测量方法和电子设备，这种方式中，用户可以通过电子设备比如手机实现物体三维尺寸的测量，方便用户使用，提升用户体验。

第一方面，本申请实施例提供一种物体尺寸测量方法，该方法可以由具有摄像头的电子设备执行。所述方法包括：电子设备检测到第一操作；响应于所述第一操作，启动摄像头，显示预览图像；所述预览图像中包括至少一个对象；在所述预览图像上确定测量选择点；根据所述测量选择点，从所述至少一个对象中确定第一对象；根据所述第一对象的深度信息，确定所述第一对象的三维边缘轮廓；根据所述三维边缘轮廓，确定所述第一对象的外接多边形；确定所述外接多边形的尺寸；在所述预览图像中显示所述外接多边形以及所述外接多边形的尺寸。

在本申请实施例中，电子设备可以实现测量物体的三维尺寸的功能，具体而言，电子设备根据待测对象的深度信息，确定待测对象的三维边缘轮廓，然后确定三维边缘轮廓的外接多边形，该外接多边形的尺寸为待测对象的三维尺寸。

在一种可能的设计中，所述外接多边形为所述第一对象的外接立方体。

在一种可能的设计中，所述外接多边形为所述第一对象的最小外接立方体。

应理解，外接立方体或者最小外接立方体仅是举例，不是限定，外接多边形还可以是外接正方体等。

在一种可能的设计中，根据所述第一对象的深度信息，确定第一对象的三维边缘轮廓，包括：根据传感器数据和所述电子设备在不同位姿下的预览图像的深度信息，确定所述电子设备的不同姿态下的三维点云；将所述不同姿态下对应的三维点云融合生成所述预览图像的网格数据；所述预览图像的网格数据包括所述至少一个对象中每个对象的网格数据；在所述预览图像的网格数据中确定所述第一对象的第一网格数据，所述第一网格数据为所述第一对象的三维边缘轮廓。

在本申请实施例中，电子设备的位置可以实时变化，所以电子设备在不同的位姿下，可以通过深度相机(深度摄像头)采集不同的深度信息，进而根据不同的深度信息确定出不同位姿对应的点云，然后将不同位姿对应的点云融合得到待测量物体的三维边缘论。这样的话，电子设备可以得到较为完整的三维边缘轮廓。

在一种可能的设计中，在所述预览图像的网格数据中确定所述第一对象的第一网格数据，包括：删除所述预览图像的网格数据中位于第一平面上的网格数据；所述第一平面为所述第一对象所处的平面；在剩余的网格数据中确定所述第一对象的第一网格数据。

在本申请实施例中，电子设备可以先过滤掉预览图像的网格数据中第一平面上的网格数据，然后从剩下的网格数据中确定第一对象的第一网格数据，有助于节省工作量，提升确定物体网格的准确性。

在一种可能的设计中，删除所述预览图像的网格数据中位于第一平面上的网格数据之前，所述方法还包括：在所述预览图像的网格数据中，确定至少一个拟合平面；从所述至少一个拟合平面中确定距离所述测量选择点最近的拟合平面为所述第一平面；或者，确定所述至少一个拟合平面中与所述测量选择点之间的距离大于或大于等于预设距离的拟合平面为所述第一平面。

在本申请实施例中，电子设备可以确定预览图像的网格数据中的第一平面，即物体所在的平面，通过这种方式，可以较为准确的定位预览图像的网格数据中的对象(或物体)。

在一种可能的设计中，所述拟合平面满足条件，所述条件包括所述拟合平面为水平面，且所述网格数据中位于所述拟合平面上的顶点的比例大于预设比例。

在本申请实施例中，电子设备可以确定预览图像的网格数据中的第一平面，先确定拟合平面，若拟合平面满足条件，则拟合平面即为第一平面，通过这种方式，可以较为准确的定位预览图像的网格数据中的对象(或物体)。

在一种可能的设计中，根据所述三维边缘轮廓，确定所述第一对象的外接多边形，包括：确定所述三维边缘轮廓在水平面上的投影图像；所述水平面为与重力方向垂直的平面；将所述投影图像上所有顶点连接，得到第一多边形；确定所述第一多边形的第一最小外接矩形；在垂直方向上移动所述最小外接矩形到所述三维边缘轮廓的顶点处，得到第二最小外接矩形；所述垂直方向为重力方向；在垂直方向上移动所述最小外接矩形到所述第一平面处，得到第三最小外接矩形；根据所述第二最小外接矩形和所述第三最小外接矩形，得到最小外接立方体。

在本申请实施例中，电子设备确定物体的三维边缘轮廓之后，可以先确定三维边缘轮廓在水平面上的投影图像的第一最小外接矩形，然后在垂直方向上平移第一最小外接矩形到物体网格的顶点，和第一平面处，得到上表面和下表面，根据上表面和下表面确定物体的最小外接立方体，通过测量物体的外接多边形的尺寸，达到测量物体的真实尺寸的目的。

在一种可能的设计中，在所述预览图像上确定测量选择点，包括：在所述预览图像检测到点击操作，确定所述点击操作对应的坐标点为测量选择点；或者确定所述预览图像的中心位置为测量选择点；或者所述预览图像的网格数据中距离坐标原点最近的点为测量选择点。

在本申请实施例中，测量选择点可以有多种确定方式，上述几种仅是举例，不是限定。

第二方面，本申请实施例还提供一种电子设备。该电子设备包括摄像头，处理器和存储器；所述摄像头用于捕捉预览图像和深度信息，所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述电子设备能够实现上述第一方面及其第一方面任一可能设计的技术方案。

第三方面，本申请实施例还提供一种电子设备。该电子设备包括处理器和存储器；所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述电子设备能够实现上述第一方面及其第一方面任一可能设计的技术方案。

第四方面，本申请实施例还提供了一种电子设备，所述电子设备包括执行上述第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第五方面，本申请实施例的一种芯片，所述芯片与电子设备中的存储器耦合，执行本申请实施例第一方面及其第一方面任一可能设计的技术方案；本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。

第六方面，本申请实施例的一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行本申请实施例第一方面及其第一方面任一可能设计的技术方案。

第七方面，本申请实施例的中一种程序产品，包括指令，当所述程序产品在电子设备上运行时，使得所述电子设备执行本申请实施例第一方面及其第一方面任一可能设计的技术方案。

附图说明

图1为本发明实施例提供的一种应用场景的示意图；

图2为本发明实施例提供的手机100的结构示意图；

图3为本发明实施例提供的手机100的结构示意图；

图4为本发明实施例提供的物体测量方法的流程示意图；

图5为本发明实施例提供的生成环境网格的流程示意图；

图6为本发明实施例提供的坐标系对齐的示意图；

图7为本发明实施例提供的深度图、RGB图、网格的示意图；

图8为本发明实施例提供的生成包围盒的流程示意图；

图9为本发明实施例提供的去平面前后的示意图；

图10为本发明实施例提供的根据测量选择点确定物体网格的示意图；

图11为本发明实施例提供的确定包围盒的流程示意图；

图12为本发明实施例提供的确定包围盒的流程示意图；

图13为本发明实施例提供的手机100的用户图形界面的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本申请实施例提供的一种应用场景的示意图。如图1所示，电子设备以手机为例，用户握持手机拍摄待测量物体，然后获取待测量物体的尺寸，显示在显示屏上。这样的话，用户只需通过手机拍摄一个物体即可得到该物体的尺寸，方便用户操作。

本申请实施例涉及的点云，即一群点的集合，该点云可以是通过物体的深度信息得到的，可以反映物体表面上的各个点的分布情况，即通过点云可以还原物体的形态。在本文中，物体的三维边缘轮廓可以是点云，也可以是基于点云得到的网格数据，具体内容将在后文介绍。

本申请实施例涉及的物体，即真实物体，可以有多种名称，比如“待测量物体”、“待测量对象”或“对象”等，本文对此不限定。

本申请实施例涉及的多个，是指大于或等于两个。

需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

以下介绍电子设备、用于这样的电子设备的图形用户界面(graphical userinterface，GUI)、和用于使用这样的电子设备的实施例。在本申请一些实施例中，电子设备可以是包含摄像头和处理器的便携式终端，其中，摄像头用于捕捉图像，而处理器用于计算捕捉的图像上的对象的三维尺寸，诸如手机、平板电脑等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，例如数码相机。还应当理解的是，在本申请其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是具有摄像头和处理器的台式计算机等。

在一些实施例中，电子设备也可以无需计算捕捉的图像上的对象的三维尺寸的能力，只需具有捕捉图像的能力和通信能力，比如电子设备捕捉到图像之后，可以将图像上报服务器，由服务器计算图像上的对象的三维尺寸，然后将三维尺寸发送给电子设备，电子设备显示该对象的三维尺寸。

通常情况下，电子设备可以支持多种应用。比如以下应用中的一个或多个：相机应用、即时消息收发应用、照片管理应用等。其中，即时消息收发应用可以有多种。比如微信、腾讯聊天软件(QQ)、WhatsApp Messenger、连我(Line)、照片分享(instagram)、KakaoTalk、钉钉等。用户通过即时消息收发应用，可以将文字、语音、图片、视频文件以及其他各种文件等信息发送给其他联系人；或者，用户可以通过即时消息收发应用实现与其他联系人的视频或音频通话。本申请实施例提供的物体测量功能可以集成在某一个应用程序中，比如集成在相机应用中，这样的话，通过相机应用可以测量物体尺寸；或者电子设备中可以具有一个专门的应用程序，该应用程序用于测量物体尺寸，比如该应用程序的名称为“测量app”或“AR测量”等等，本申请实施例不作限定。

下文以电子设备是手机为例，图2示出了手机100的结构示意图。

手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器100可以运行本申请实施例提供的物体尺寸测量算法的软件代码，得到物体的尺寸。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为手机100充电，也可以用于手机100与外围设备之间传输数据。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

摄像头193用于捕获静态图像或视频。摄像头193可以包括前置摄像头和后置摄像头。在本申请实施例中，摄像头193可以包括至少两个，以两个为例，其中一个是可见光摄像头，用于捕捉GRB图像，另一个摄像头是红外摄像头，用于获取深度信息。

光源198，用于发射光束，光束照射到待测量物体的表面，被该表面反射，反射光线被摄像头捕捉。应理解，光源和用于获取深度信息的摄像头是对应的，比如光源是红外光源时，用于获取深度信息的摄像头可以是红外摄像头。红外摄像头通过发射光线的发射时间和反射光线的接收时间之间的时间差和光的传播速度，可以确定待测量物体距离手机100的距离，所以，手机100可以确定待测量物体上每个点与手机100的距离，进而得到待测量物体的深度信息。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，以及至少一个应用程序(比如相机应用，微信应用等)的软件代码等。存储数据区可存储手机100使用过程中所产生的数据(比如图像、视频等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

内部存储器121还可以存储本申请实施例提供的测量物体尺寸的方法的软件代码，当处理器110运行所述软件代码时，执行测量物体尺寸的方法的流程步骤，得到物体的尺寸。

内部存储器121还可以存储待测量物体的图像和尺寸信息。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

当然，本申请实施例提供的物体尺寸的测量方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行测量物体尺寸的方法的流程步骤，得到物体的尺寸。手机100得到的待测量物体的图像和尺寸信息也可以存储在外部存储器中。

应理解，用户可以指定将图像和尺寸信息存储在内部存储器121还是外部存储器中。比如，手机100检测到当前与外部存储器连接时，若手机100测量一个物体的尺寸之间，可以弹出提示信息，以提示用户将该物体的图像和尺寸信息存储在外部存储器还是内部存储器121；当然，还有其它的指定方式，本申请实施例不作限定；或者，手机100检测到内部存储器121的内存量小于预设量时，可以自动将图像和尺寸信息存储在外部存储器中。

手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。

陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定手机100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。

气压传感器180C用于测量气压。在一些实施例中，手机100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。手机100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当手机100是翻盖机时，手机100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机100附近有物体。当检测到不充分的反射光时，手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测手机100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，手机100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，手机100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，手机100对电池142加热，以避免低温导致手机100异常关机。在其他一些实施例中，当温度低于又一阈值时，手机100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。

可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

为了方便描述本申请实施例提供的物体测量算法，下文将通过与本申请实施例提供的物体测量算法相关的部件介绍本申请实施例的物体测量算法，具体请参见图3，图3中手机100的部件可参考关于图1的相关描述。需要说明的是，图3中以手机100包含两个摄像头为例。

图3所示的手机100测量物体的尺寸的过程包括：

手机100启动深度(depth)摄像头和RGB摄像头，对准水平面上的待测量物体，其中，depth摄像头用于获取深度信息，RGB摄像头用于获取RGB图像。处理器根据深度信息和手机100的位姿(手机100的位置和姿态)确定待测量物体的三维边缘轮廓，然后确定三维边缘轮廓的外接多边形，显示该外接多边形，以及外接多边形的尺寸。因此，通过测量待测量物体的外接多边形的尺寸，达到测量待测量物体的尺寸的目的。

举例来说，假设手机100在初始位置处通过depth摄像头捕捉到第一depth图像，可以根据第一depth图像确定第一点云，当手机100从初始位置移动到某个位置时，depth摄像头捕捉到第二depth图像，可以根据第二depth图像确定第二点云，所以第一点云和第二点云是在手机100在不同位姿下得到的深度图，手机100可以将第一点云和第二点云融合得到待测量物体的三维边缘轮廓。

上面的例子中，以手机100移动两处位置为例，在实际应用中，手机100的位置可以实时变化，所以手机100在不同的位姿下，可以通过深度相机采集不同的深度信息(或者深度图像)，进而根据不同的深度图确定出不同的点云，然后将不同位姿对应的点云融合得到待测量物体的三维边缘论。

进一步的，手机100还可以根据RGB摄像头捕捉到RGB图像，为三维边缘轮廓增加颜色信息等，使得三维边缘轮廓更加接近真实物体。

参见图4所示，为本申请实施例提供的物体测量方法的流程示意图。如图4所示，该流程包括：

S1：检测到第一操作；

S2：响应于所述第一操作，启动第一摄像头和第二摄像头，显示预览界面，其中，第一摄像头用于捕捉RGB图像，第二摄像头用于获取深度信息。

示例性的，在S2之前，可以对第一摄像头和第二摄像头初始化。

S3：启动惯性传感器，获取传感器数据，其中，所述惯性传感器可以包括陀螺仪和/或加速计。

示例性的，在S3之前，可以对惯性传感器进行初始化。

S4：基于深度信息、RGB图像和传感器数据，构建环境网格数据，环境网格数据中包括待测量物体的物体网格数据。

示例性的，参见图5所示，为构建环境网格数据的流程示意图。如图5所示，该流程包括：

S41：坐标系对齐。

由于Camera坐标系和世界坐标系不同，所以，手机100可以将Camera坐标系和世界坐标系对齐。具体而言，手机100可以根据传感器数据和Camera之间的内外参数，实现将Camera坐标系和世界坐标系的对齐，比如，将Camera坐标系的Yc轴变换到与坐标系的Zw轴(重力方向)对齐，参见图6所示，为对齐之后的坐标系的示意图。其中，Xw-Yw-Zw是世界坐标系，Xc-Yc-Zc是Camera坐标系。这样的话，更方便的区分网格的水平面和垂直面，水平面即Xc-Yc平面。其中，传感器数据和Camera之间的内外参数可以用于指示传感器数据对应的世界坐标系和Camera坐标系之间的转换关系。

S42：手机100的位姿估计。

作为一种示例，手机100可以根据传感器数据(比如加速计传感器数据和/或陀螺仪传感器数据，本申请实施例不作限定)确定手机100的位姿。

作为另一种示例，手机100可以根据RGB图提取特征点来对手机100的位姿进行估计(因为，手机100处于不同的位姿下，捕捉的RGB图像不同，所以手机100可以根据不同RGB图像上的特征点的坐标反推手机100的位姿)。

当然，为了更准确的确定手机100的位姿，可以使用上述两种方式(即结合传感器数据和RGB图像)确定手机100的位姿。

S44：点云融合

手机100在不同位姿(位置和姿态)，得到的深度图像不同，手机100可以将不同的深度图转换为三维点云，得到不同位姿下对应的三维点云，并将不同位姿下对应的三维点云进行拼接融合，提高网格完整度和边缘准确度。

示例性的，手机100处于多种位姿下，得到的不同的点云，拼接融合得到的更多的点云为待测量物体所处环境的点云，下文称之为环境点云，环境点云中包括待测量物体的点云。

S45：网格生成

在S44中，将多个视角的点云拼接融合，得到更多的点云，即环境点云，手机100可以将环境点云中相邻的两点连接直线，得到环境网格，所以环境网格中最小单元是三角形，在实际应用中，环境网格中的最小单元还可以是其它多边形(下文称之为面片)，本申请实施例不作限定。环境网格中包括待测量物体的网格。示例性的，参见图7，为深度图、RGB图、网格数据的示意图。

S5：计算环境网格中待测量物体的包围盒，所述包围盒是所述是待测量物体的外接最小立方体。

在S45中，得到环境网格之后，待测量物体的网格(下文称之为物体网格)和其它物体的网格暂未区分，为了测量待测量物体的尺寸，手机100可以从环境网格中确定物体网格。示例性的，参见图8所示，为S5的流程示意图。如图8所示，该流程包括：

S51：在环境网格中去除物体所在的平面上的网格。

S51的目的为把物体所在的平面(如地面、桌面等平面)去除，使得环境网格得到分离，方便更好地选择物体网格。具体而言，S51可以包括三步：

1、预处理环境网格

去掉比测量选择点的三维坐标高的网格数据，其中测量选择点可以是待测量物体上的一个点，因为物体所在的水平面比测量选择点低，去除比测量选择点高的网格数据的话，可以减少计算量。其中，测量选择点可以有多种方式确定，比如：将屏幕正中心作为测量选择点(具体而言，由于网格数据是三维的，屏幕中心位置是二维的，所以可以将屏幕中心点的射线和网格数据的碰撞点作为测量选择点，其中，中心点的射线是过中心点垂直与屏幕的线)；或，将用户在屏幕上的点击位置作为测量选择点(具体而言，由于网格数据是三维的，屏幕中心位置是二维的，所以可以将点击位置的射线和网格数据的碰撞点作为测量选择点，其中点击位置的射线是过点击位置且与屏幕垂直的线)；或，将网格数据中距离世界坐标系最近的点作为测量点等等。

2、寻找物体所在的平面

去除比测量选择点高的网格数据之后，可以在剩余的网格数据中选择平面。

作为一种示例，手机100可以在剩余的网格数据中随机选取3个点进行拟合平面，然后判断拟合平面是否水平，并判断所有网格数据在该拟合平面上的比例；若网格数据在拟合平面上的比例大于预设比例，且拟合屏幕水平，则确定该拟合平面是物体所在平面。

作为另一种示例，若网格数据在拟合平面上的比例大于预设比例，且拟合屏幕水平的平面有多个，则手机100可以确定距离测量选择点最近的一个平面是物体所在平面。

作为又一种示例，若网格数据在拟合平面上的比例大于预设比例，且拟合屏幕水平的平面有多个，则手机100可以确定与测量选择点之间的距离大于或大于等于预设距离的平面是物体所在平面。其中，预设距离可以是2cm，3cm等，本申请实施例不作限定。

3、删除位于确定出的平面上的网格。

示例性的，参见图7所示，删除位于确定出的平面上的网格即删除物体所在平面(即地面)的网格数据。

示例性的，参见图9(a)所示，为环境网格的示意图，图9(b)为去平面之后的网格的示意图，如图9(b)所示，去平面之后剩余的网格为物体网格。

S52：在剩余网格中获取待测量物体的物体网格；

示例性的，去除物体所在平面的网格数据之后，剩余的网格数据即物体网格数据，若物体有多个，那么物体网格数据是分块离散的，不同的网格块代表不同的物体。为了得到待测物体的物体网格数据，需要作进一步计算，从而得到待测物体的网格数据。主要有两步：

1、确定测量选择点所在的多边形面片；

2、从该多边形面片开始扩散，找寻所有与该面片相连的面片，从而得到待测物体的物体网格。参见图10所示，测量选择点是实心点，位于一个三角形面片内，手机100确定与该三角形面片相连的其它面片，然后手机100可以确定与其它面片相连的面片，即从测量选择点开始扩散，得到待测量物体的物体网格数据。图10中的离散数据2和离散数据3可以是去平面之后的剩余网格中其它对象的物体网格。

S53:根据物体网格生成最小的包围盒；

第一步，把物体网格投影到Xw-Yw平面上；

示例性的，参见图11(a)所示，为物体网格投影到Xw-Yw平面的形状。

第二步，计算投影后的所有顶点的凸包。

示例性的，参见图11(b)所示，将投影到Xw-Yw平面上的形状的各个顶点连接，得到凸包，即图11(b)中虚线。

第三步，从不同方向计算凸包的外接矩形，然后选取面积最小的外接矩形；

示例性的，参见图11(c)所示，计算凸包的外接矩形，由于凸包本身是多边形，所以凸包的外接矩形有多种，图11(c)中仅列举出两种。手机100可以从多个外接矩形中选择面积最小的外接矩形。

第四步，根据去平面的高度以及物体网格的最高点分别确定包围盒的上下底面；

应理解，前三步中，确定最小外接矩形是物体网格在Xw-Yw平面上的投影的外接矩形，为了得到整个物体网格的包围盒，可以将前三步得到的最小外接矩阵延Zw轴方向移动，比如移动到物体网格的最高点处，再延Zw轴方向移动到物体所在的平面处。

示例性的，参见图12所示，将Xw-Yw平面上的最小外接矩形延Zw轴正方向移动到物体网格最高点，得到包围盒的上表面，延Zw轴负方向移动到物体所在平面处，得到包围盒的下表面，根据上表面和下表面，得到物体网格的包围盒。

S6：在预览界面上显示包围盒以及包围盒的尺寸。

需要说明的是，手机100捕捉的图像中对象的尺寸和真实对象的尺寸可以具有比例关系(该比例关系与物体和手机100之间的距离相关)，所以手机100得到包围盒的尺寸之后，可以将包围盒的尺寸根据所述比例关系，确定真实尺寸，然后显示该真实尺寸。

需要说明的是，在输出包围盒之前，可以画出包围盒的预览框，将该预览框包围物体。

示例1：

参见图13(a)所示，手机100的主界面1301上显示多个应用程序的图标，其中包括AR测量应用的图标1302。手机100检测到图标1302被触发时，显示预览界面，如图13(b)所示的界面1303，预览界面中包括待测量物体。图中以待拍摄物体是椅子为例。

参见图13(b)所示，预览界面1303中显示提示信息，该提示信息为“瞄准物体表面，缓缓移动手机”，以帮助用户使用物体测量功能。手机100采集到椅子的不同角度的图像之后，可以采用上述的方式确定椅子的包围盒，显示预览界面中。

参见图13(c)所示，界面1304中显示椅子的包围盒，即图中的白色虚线，手机100还可以显示包围盒的尺寸。

参见图13(d)所示，界面1305中显示包围盒的尺寸，即包围盒的长、宽、高。为了突出包围盒的尺寸，界面1305中的包围盒和界面1304中的包围盒的外观可以不同，比如，界面1305中包围盒显示蓝色，而界面1304中的包围盒显示白色。

需要说明的是，手机100可以在显示包围盒之后，检测到满足条件之后，再显示包围盒的尺寸。示例性的，检测到满足条件可以包括：手机100检测到用户触发确定该包围盒的指示，比如当手机100检测到触发“添加长方形”控件的操作；或者手机100显示包围盒之后，到达预设时长等等。

上面的实施例中，以手机100为例，在实际应用中，本申请实施例提供的物体尺寸的测量方法还可以适用于其它电子设备，比如AR眼镜，AR眼镜上可以显示待测量物体、待测量物体的包围盒，以及包围盒的尺寸，具体的实现过程，请参见前文的描述。

在本申请实施例中，用户可以通过电子设备实现测量物体尺寸的目的，而且用户只需通过电子设备扫描待测量物体即可，方便用户操作。

本申请的各个实施方式可以任意进行组合，以实现不同的技术效果。

上述本申请提供的实施例中，从电子设备(手机100)作为执行主体的角度对本申请实施例提供的方法进行了介绍。本申请实施例提供的图形渲染方法可以适用于具有显示屏的任何电子设备。为了实现上述本申请实施例提供的方法中的各功能，终端可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行图4所示的实施例中的一个或多个步骤，以实现上述实施例中的图形渲染方法。

本实施例还提供了一种程序产品，当该程序产品在计算机上运行时，使得计算机执行图5所示的实施例中的一个或多个步骤，以实现上述实施例中的图形渲染方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行图4所示的实施例中的一个或多个步骤，以实现上述实施例中的图形渲染方法。

其中，本实施例提供的电子设备、计算机存储介质、程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (12)

1.一种物体测量方法，应用于电子设备，其特征在于，所述方法包括：

电子设备检测到第一操作；

响应于所述第一操作，启动摄像头，显示预览图像；所述预览图像中包括至少一个对象；

在所述预览图像上确定测量选择点；

根据所述测量选择点，从所述至少一个对象中确定第一对象；

根据所述第一对象的深度信息，确定所述第一对象的三维边缘轮廓；

根据所述三维边缘轮廓，确定所述第一对象的外接多边形；

确定所述外接多边形的尺寸；

在所述预览图像中显示所述外接多边形以及所述外接多边形的尺寸。

2.如权利要求1所述的方法，其特征在于，所述外接多边形为所述第一对象的外接立方体。

3.如权利要求1或2所述的方法，其特征在于，所述外接多边形为所述第一对象的最小外接立方体。

4.如权利要求1-3任一所述的方法，其特征在于，根据所述第一对象的深度信息，确定第一对象的三维边缘轮廓，包括：

根据传感器数据和所述电子设备在不同位姿下的预览图像的深度信息，确定所述电子设备的不同姿态下的三维点云；

将所述不同姿态下对应的三维点云融合生成所述预览图像的网格数据；所述预览图像的网格数据包括所述至少一个对象中每个对象的网格数据；

在所述预览图像的网格数据中确定所述第一对象的第一网格数据，所述第一网格数据为所述第一对象的三维边缘轮廓。

5.如权利要求4所述的方法，其特征在于，在所述预览图像的网格数据中确定所述第一对象的第一网格数据，包括：

删除所述预览图像的网格数据中位于第一平面上的网格数据；所述第一平面为所述第一对象所处的平面；

在剩余的网格数据中确定所述第一对象的第一网格数据。

6.如权利要求5所述的方法，其特征在于，删除所述预览图像的网格数据中位于第一平面上的网格数据之前，所述方法还包括：

在所述预览图像的网格数据中，确定至少一个拟合平面；

从所述至少一个拟合平面中确定距离所述测量选择点最近的拟合平面为所述第一平面；或者，确定所述至少一个拟合平面中与所述测量选择点之间的距离大于或大于等于预设距离的拟合平面为所述第一平面。

7.如权利要求6所述的方法，其特征在于，所述拟合平面满足条件，所述条件包括所述拟合平面为水平面，且所述网格数据中位于所述拟合平面上的顶点的比例大于预设比例。

8.如权利要求5-7任一所述的方法，其特征在于，根据所述三维边缘轮廓，确定所述第一对象的外接多边形，包括：

确定所述三维边缘轮廓在水平面上的投影图像；所述水平面为与重力方向垂直的平面；

将所述投影图像上所有顶点连接，得到第一多边形；

确定所述第一多边形的第一最小外接矩形；

在垂直方向上移动所述最小外接矩形到所述三维边缘轮廓的顶点处，得到第二最小外接矩形；所述垂直方向为重力方向；

在垂直方向上移动所述最小外接矩形到所述第一平面处，得到第三最小外接矩形；

根据所述第二最小外接矩形和所述第三最小外接矩形，得到最小外接立方体。

9.如权利要求1-8任一所述的方法，其特征在于，在所述预览图像上确定测量选择点，包括：

在所述预览图像检测到点击操作，确定所述点击操作对应的坐标点为测量选择点；或者

确定所述预览图像的中心位置为测量选择点；或者所述预览图像的网格数据中距离坐标原点最近的点为测量选择点。

10.一种电子设备，其特征在于，包括摄像头，处理器和存储器；所述摄像头用于捕捉预览图像和深度信息，所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述电子设备能够实现如权利要求1-9任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至9任一所述的方法。

12.一种程序产品，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-9任一项所述的方法。