CN112166461A - 物理对象边界检测技术和系统 - Google Patents

物理对象边界检测技术和系统 Download PDF

Info

Publication number
CN112166461A
CN112166461A CN201980032813.XA CN201980032813A CN112166461A CN 112166461 A CN112166461 A CN 112166461A CN 201980032813 A CN201980032813 A CN 201980032813A CN 112166461 A CN112166461 A CN 112166461A
Authority
CN
China
Prior art keywords
point cloud
physical object
computing device
dimensional
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980032813.XA
Other languages
English (en)
Other versions
CN112166461B (zh
Inventor
帕特里克·瑞安·内尔松
谢金融
兰德尔·夏尔·弗里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN112166461A publication Critical patent/CN112166461A/zh
Application granted granted Critical
Publication of CN112166461B publication Critical patent/CN112166461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0834—Choice of carriers
    • G06Q10/08345—Pricing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/54—Revolving an optical measuring instrument around a body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了物理对象边界检测技术和系统。在一个示例中，增强现实模块生成三维点云数据。该数据描述包括物理对象的物理环境内的各个点处的深度。然后，采用物理对象边界检测模块通过去除与基础平面相对应的点来过滤点云数据。然后，模块执行最近邻搜索以查找经过滤的点云数据内与物理对象相对应的点的子集。基于该子集，模块将点的子集投影到基础平面上以生成二维边界。然后，基于根据经过滤的点中的具有距基础平面最大距离的点确定的高度，挤压二维边界。

Description

物理对象边界检测技术和系统
相关申请
本申请要求于2018年5月18日提交的题为“Physical Object BoundaryDetection Techniques and Systems”的美国申请第15/984,140号的优先权，其全部公开内容通过引用并入本文中。
背景技术
用于估计送货成本和包装材料的传统技术是模态的，并且需要多个不同的装置，对于用户而言，可能不太容易获得这些装置。例如，用户可能希望送货物理对象。为此，用户首先使用卷尺来确定物理对象的尺寸。然后，用户确定与物理对象的尺寸相对应的可用包装的大小(例如，信封或盒子大小)，并且还对在包装中要使用的填充物的量做出最佳猜测。为此，用户可以访问从中可获得这些材料的网站，基于记忆的尺寸亲自前往商店购买这些材料等。因此，这些传统技术不能确定包装材料的适当大小(例如，盒子大小)，而是限于最好也不过是使用各种可能不太容易获得的工具得到对象的粗略尺寸。因此，传统技术依赖于用户方面的“最佳猜测”，这是不准确、受阻且成本高的，原因是在为了“保险起见”获得过量包装中的不准确性。类似的受阻也可能在确定物理对象的送货成本的估计中遇到。因此，这些传统技术是低效的并且引起用户受阻。
发明内容
描述了物理对象边界检测技术和系统，该技术和系统通过在计算物理对象的三维边界方面实现提高的准确度克服了传统技术的挑战。例如，可以使用典型用户容易获得的装置(例如，移动电话)来执行。然后可以使用三维边界自动地并且在没有用户干预的情况下获得送货数据，例如送货成本、订单包装等。
在一个示例中，增强现实模块生成三维点云数据。该数据描述包括物理对象的物理环境内的各个点处的深度。然后，采用物理对象边界检测模块通过去除与基础平面相对应的点来过滤点云数据。在该示例中接收用户输入以选择与物理对象相对应的位置。然后，物理对象边界检测模块执行最近邻搜索以查找经过滤的点云数据内与物理对象相对应的点的子集。
基于该子集，物理对象边界检测模块将点的子集投影到基础平面上以生成二维边界，例如，二维边界框。然后，基于从经过滤的点云数据中具有距基础平面最大距离的点确定的高度，挤压二维边界以形成三维边界。
在另一示例中，点云数据还通过AR模块使用三维感测装置和点云生成模块来生成。对于每个视角(例如，在布置物理对象的表面上)，在二维中计算边界(例如，矩形边界)。该模块选择这些二维边界中的至少一个二维边界以用于计算三维边界，例如，三维边界。为此，使用所选择的二维边界来生成三维边界，三维边界的尺寸基于所选择的二维边界和使用点云数据检测到的物理对象的高度。
本发明内容以简化形式介绍了将在下面的“具体实施方式”中进一步描述的一系列构思。因此，本发明内容并不旨在确认所要求保护的主题的实质特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参照附图描述具体实施方式。图中示出的实体可以指示一个或更多个实体，并且因此在讨论中可以互换地引用单数形式或复数形式的实体。
图1是示例实现方式中的操作时能够采用本文中所描述的技术的环境的图示。
图2描绘了示例实现方式中的更详细地示出图1的AR模块与物理对象边界检测模块的操作的系统。
图3描绘了点云数据的示例。
图4描绘了从图3的点云数据生成的经过滤的点云数据的示例。
图5描绘了使用邻近搜索从图4的经过滤的点云数据生成的点的子集的示例。
图6描绘了生成图5的点的子集的二维投影的示例。
图7描绘了从图6的二维投影生成二维边界的示例。
图8描绘了使用挤压从图7的二维边界生成三维边界的示例。
图9描绘了示例实现方式，在该示例实现方式中，图8的三维边界作为增强现实数字内容显示在用户界面中，作为图1的计算装置的实时相机馈送的一部分。
图10是描绘示例实现方式中的基于从AR模块获得的点云数据生成三维边界的过程的流程图。
图11是描绘示例实现方式中的基于从物理对象的多个视角生成的点云数据来生成二维边界的过程的流程图。
图12是描绘示例实现方式中的从图11的二维边界中选择二维边界并且使用该二维边界来生成三维边界的过程的流程图。
图13描绘了从多个视角生成点云数据并且针对这些视角中的每个视角生成二维边界的示例实现方式。
图14示出了包括示例装置的各种部件的示例系统，该示例装置可以被实现为如参照图1至图13所描述和/或利用的任何类型的计算装置来实现本文中所描述的技术的实施方式。
具体实施方式
概述
描述了物理对象边界检测技术和系统。这些技术支持对物理对象的三维边界例如作为包括高度、宽度和深度尺寸的三维边界框的计算。为此，由例如可以被包括为移动电话的一部分并且因此用户容易获得的计算装置的AR模块生成点云数据，该点云数据描述了物理环境内点的深度。然后，由计算装置使用点云数据来确定物理环境中的物理对象的三维边界(例如，边界框)。然后，可以使用三维边界支持多种功能，例如生成推荐用于包装物理对象的包装材料(例如，盒子、管、信封)的送货数据、物理对象的估计送货成本，并且可以包括数字内容的形成，该数字内容被配置成提供包括送货数据的用于出售的物理对象。以这种方式，本文中所描述的技术克服了传统技术的挑战，并且因此可以针对物理对象确定合适的包装大小，而不受限于传统技术的基于预定义测量和“最佳猜测”来预测预定义框。
例如，用户可以启动与服务提供商系统相关联的应用以提供用于出售的产品。在该示例中，应用被配置成生成作为用于出售的提供物的一部分的数字内容，例如移动应用中的网页、画面等。作为其一部分，应用可以包括能够用于详列物理对象的文本描述、支持物理对象的数字图像的捕获的用户界面，并且还可以包括对象的送货数据。
在该示例中，响应于经由用户界面接收的用户输入以发起送货数据的生成，自动地并且在没有用户干预的情况下生成送货数据。送货数据可以基于通过由计算装置执行应用而计算出的三维边界的尺寸。
在第一示例中，计算装置的增强现实模块包括被配置成生成三维点云数据的三维感测装置和点云生成模块。该数据描述了包括物理对象的物理环境内的各个点处的深度，例如，深度图。可以使用各种功能来确定这些深度，各种功能的示例包括使用数字图像和运动检测传感器来确定视差，使用无线电波(例如，作为Project Tango的一部分的Wi-Fi波)、飞行时间相机、结构化光栅阵列等。在一些情况下，点云数据可能具有可能导致处理效率低下的分辨率(即，点数)。因此，在这样的情况下，对点云数据进行下采样，从而改善计算装置的操作。
然后，采用物理对象边界检测模块通过去除与基础平面相对应的点来过滤点云数据。例如，可以相对于用户界面中显示的数字图像(例如，实时相机馈送)来接收用户输入，该数字图像与正在生成的点云数据相对应。然后，用户可以“敲击”图像中与基础平面相对应的部分，例如，在其上布置物理对象的表面。然后，物理对象边界检测模块使用最近邻搜索来去除与基础平面相对应的点。这起到隔离基础平面上方并且因此可能与物理对象相对应的点的作用。在另一示例中，模块自动地并且在没有用户干预的情况下检测基础平面。
在该示例中，接收另一用户输入以选择与物理对象相对应的位置。为此，然后，用户“敲击”数字图像(例如，实时相机馈送)中的该位置，并且物理对象边界检测模块执行最近邻搜索以查找经过滤的点云数据内与物理对象相对应的点的子集。
基于该子集，物理对象边界检测模块将点的子集投影到基础平面上以生成二维边界，例如，边界框。然后，基于根据经过滤的点云数据中具有距基础平面最大距离的点确定的高度，挤压二维边界以形成三维边界。因此，该三维边界包括限定物理对象的最大外部尺寸的的尺寸例如，宽度、深度和高度。
三维边界可以支持多种功能，例如，生成推荐包装物理对象的包装材料的送货数据、估计物理对象的送货成本等。继续前述示例，送货数据可以由模块自动地并且在没有用户干预的情况下被包括，作为提供待售物理对象的数字内容的一部分。以这种方式，本文中所描述的技术以非模态的方式提高了用户与计算装置交互的效率，在该非模态的方式中，用户可以停留在应用的上下文内以有效地生成送货成本以包括为数字内容的部分。
在另一示例中，点云数据还通过AR模块使用三维感测装置和点云生成模块来生成。在该示例中，从多个不同视角生成点云数据。针对每个视角在二维中计算二维边界，例如作为布置物理对象的表面上的二维边界框。
这些二维边界中的至少一个二维边界被模块选择以用于计算三维边界。例如，该选择可以基于二维边界中的哪个二维边界例如按面积是最小的。然后，使用所选择的二维边界来生成边界框或其他形状(例如，根据可用包装材料的尺寸选择的)以生成三维边界，上述边界框或其他形状的尺寸基于所选择的二维边界和使用点云数据检测到的物理对象的高度。然后，三维边界可以用于支持各种功能，例如，输出物理对象的尺寸、生成示出尺寸和框的增强现实内容、生成送货数据等。对这些和其他示例的进一步讨论包括在以下部分中并且使用相应的附图示出。
在以下讨论中，首先描述可以采用本文中所描述的技术的示例环境。然后描述可以在示例环境以及其他环境中执行的示例过程。因此，示例过程的执行不限于示例环境，并且示例环境不限于示例过程的执行。
示例环境
图1是示例实现方式中的数字媒体环境100的图示，数字媒体环境100在操作时能够采用本文中所描述的物理对象边界检测技术。示出的环境100包括计算装置102，该计算装置102被示出为由用户104握持。可以以各种方式来配置计算装置102。
例如，计算装置102可以被配置为台式计算机、膝上型计算机、移动装置(例如，假设诸如所示的平板电脑或者移动电话的手持配置)等。因此，计算装置102的范围可以从具有大量存储器和处理器资源的全资源装置(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理器资源的低资源装置(例如，移动装置)。此外，尽管示出了单个计算装置102，但是计算装置102可以表示多个不同的装置，例如由企业使用以执行如图14所描述的“云上”操作的多个服务器。
在示出的示例中，计算装置102被配置成捕获其中布置有物理对象106的物理环境的数据，以生成送货数据108。为此，计算装置102利用AR模块110。AR模块110包括三维(3D)感测装置112和点云生成模块114，三维感测装置112和点云生成模块114被配置成生成描述物理环境内各个点处的深度的点云数据116。例如，遵循右手习惯，点云数据116可以描述点，其中，作为坐标系的一部分，y轴是垂直的并且x轴是水平的并且z轴限定深度。
在一个示例中，3D感测装置112和点云生成模块114采用称为视觉惯性里程计的技术，其中，3D感测装置112包括运动检测传感器(例如，陀螺仪、加速计)和相机以捕获物理环境的数字图像。点云生成模块114被配置成执行数字图像的计算机视觉分析以识别数字图像中的特征并且跟踪这些特征的位置上的差异。
点云生成模块114将来自运动检测传感器的运动感测数据与所跟踪的特征位置上的差异进行比较以生成点云数据116，点云数据116将物理环境中的点的深度建模为例如深度图。以这种方式，AR模块110可以在计算装置102移动时跟踪其位置以基于从数字图像识别的特征来建立对物理环境的理解。该功能还可以支持基础平面检测，例如，诸如地板或桌子的平坦表面。因此，在该示例中，可以在没有专用硬件的情况下通过多种移动计算装置例如智能电话和平板电脑生成点云数据116。
在另一示例中，利用专用硬件来发射无线电波(例如，Wi-Fi波)，无线电波的返回由3D感测装置112感测(例如，使用雷达技术)。这包括使用如上所述的运动跟踪(例如，使用加速计、气压计、GPS和/或陀螺仪)，使得点云生成模块114可以获得对物理环境内的点的深度的理解以生成点云数据116。还考虑了其他示例，例如飞行时间相机、结构化光栅阵列装置等。
然后，AR模块110经由应用编程接口(API)将点云数据116披露给物理对象边界检测模块118。该模块表示基于点云数据116生成边界数据120的功能，边界数据120将物理对象106的外部尺寸描述为边界(例如，三维多边形、管等)。
边界数据120可以支持各种功能，例如，将物理对象106的尺寸表示为作为由计算装置输出的实时相机馈送的一部分的增强现实数字内容。在所示示例中，边界数据120作为输入被送货模块122接收以生成送货数据108。例如，送货模块122可以经由网络124将边界数据120传送至服务提供商系统126。服务提供商系统126包括服务管理器模块128，该服务管理器模块128被配置成生成送货数据108。例如，服务管理器模块128可以采用包装材料服务130，该包装材料服务130被配置成确定要用于包装物理对象106的包装材料(例如，盒子、管、信封和填充物大小)。在另一实例中，送货服务132被配置成估计物理对象106的送货成本。在另一实例中，数字商务服务134将边界数据120用作数字内容(例如，提供由用户104出售物理对象106的网页)的生成的一部分。
例如，物理对象边界检测模块118和送货模块122可以合并为与服务提供商系统126相对应的应用的一部分。在该示例中，服务提供商系统126被配置成通过发布数字内容(例如，应用的用户界面中的网页、画面等)来提供用于出售的物理对象。
因此，用户104可以与应用交互以生成提供用于出售的物理对象106的数字内容(例如，应用的网页、画面)。作为其一部分，送货模块122被配置成在应用的上下文内生成送货数据108，并且因此是非模态的。这可以包括包装材料的自动订购、估计送货成本的列出等，这些可以被包括为数字内容的一部分。以这种方式，边界数据120的生成可以提高用户与计算装置102交互的效率，并且可以实时地如此。
通常，可以在本部分中所描述示例过程的上下文中采用关于上面和下面的示例所描述的功能、特征和构思。此外，关于本文件中的不同的附图和示例所描述的功能、特征和构思可以彼此互换并且不限于在特定附图或者过程的上下文中实现。此外，与本文中的不同的代表性过程和相应附图相关联的框可以被一起应用并且/或者以不同方式组合。因此，关于本文中的不同示例环境、装置、部件、附图和过程所描述的各个功能、特征和构思可以以任何合适的组合并且不限于由本说明书中列举的示例表示的特定组合来使用。
物理对象边界检测
图2描绘了示例实现方式中的系统200，更详细地示出图1的AR模块110与物理对象边界检测模块118的操作。图10描绘了示例实现方式中的基于从AR模块获得的点云数据生成三维边界的过程1000。尽管在该示例中描述了三维边界框，但是也考虑了其他形状，例如管、多边形、三角柱、信封等。
以下讨论描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或它们的组合来实现。过程被示为一系列详述由一个或更多个装置执行的操作的框，并且不一定限于所示的由各个框执行操作的顺序。在以下讨论的部分中，可以互换地参照图2和图10。
在该示例中，利用在计算装置102(例如，移动电话)上可用的增强现实功能来获得物理对象106的测量结果作为三维边界。在这种情况下，三维边界不对物理对象的几何形状进行重建，而是创建最小边界框以便于包装选择和送货成本估计。
为此，首先获得限定包括物理对象106的物理环境内各个点处的深度的点云数据116(框1002)。因此，点云数据116配置成通过AR模块110表示三维物理环境。这可以以各种方式如通过使用雷达技术、视觉惯性里程计、飞行时间相机、结构化光栅技术等来执行。
图3示出了点云数据116的示例300，在图3中，在物理环境中的桌子上包括物理对象116(灯)。在一些实例中，点云数据116可能包括大量点(例如，250,000个)，这可能限制计算装置的操作。因此，在这样的实例中，可以对点云数据116进行下采样(例如，每帧采样二十个点中的一个点，从而处理15000个点)以提高计算装置102的操作效率，例如以支持实时输出。
如前所述，计算装置102可以利用AR模块110来生成点云数据116。AR模块110包括三维(3D)感测装置112和点云生成模块114，三维感测装置112和点云生成模块114被配置成生成描述物理环境内的各个点处的深度的点云数据116。例如，在右手习惯中，点云数据116可以描述点，其中，作为坐标系的一部分，y轴是垂直的并且x轴是水平的并且z轴限定深度。
在一个示例中，3D感测装置112和点云生成模块114采用称为视觉惯性里程计的技术，其中，3D感测装置112包括运动检测传感器(例如，陀螺仪、加速计)和相机以捕获物理环境的数字图像。点云生成模块114被配置成执行数字图像的计算机视觉分析以识别数字图像中的特征并且跟踪这些特征的位置上的差异。
点云生成模块114将来自运动检测传感器的运动感测数据与所跟踪的特征位置上的差异进行比较以生成点云数据116，点云数据116将物理环境中的点的深度建模为例如深度图。以这种方式，AR模块110可以在计算装置102移动时跟踪其位置以基于从数字图像识别的特征来建立对物理环境的理解。该功能还可以支持基础平面检测(例如，诸如地板或桌子的平坦表面)。因此，在该示例中，可以在没有专用硬件的情况下通过多种移动计算装置例如智能电话和平板电脑生成点云数据116。
在另一示例中，利用专用硬件来发射无线电波(例如，Wi-Fi波)，无线电波的返回由3D感测装置112感测(例如，使用雷达技术)。这包括使用如上所述的运动跟踪(例如，使用加速计、气压计、GPS和/或陀螺仪)，使得点云生成模块114可以获得对物理环境内点的深度的理解以生成点云数据116。还考虑了其他示例，例如飞行时间相机、结构化光栅阵列装置等。
然后，基础点过滤模块202通过去除与基础平面相对应的点来过滤点云数据116(框1004)。例如，可以经由用户界面接收用户输入204，该用户界面显示与点云数据116相对应的数字图像，例如，作为来自计算装置102的数字相机的实时相机馈送。用户输入204指定数字图像中基础平面的位置，并且因此可以由基础点过滤模块202与点云数据116中的基础平面相关联。
从点云数据116中去除与基础平面相对应的点或位于基础平面下方的点以形成经过滤的点云数据206。这可以被执行使得点云数据116中的具有如用户输入204所指示的在误差容限“e”内的基础平面的负点积的任何点被去除。这用于减小点云搜索空间以改进计算装置102的效率和操作。还考虑了其他实例，其中，基础点滤波模块202的功能被包括作为AR模块110本身的一部分。图4中示出了经过滤的点云数据206的示例400。
然后，接收指定物理对象在用户界面中的位置的用户输入208(框1006)。继续前述示例，计算装置102可以在用户界面中输出与点云数据116对应的物理环境中的捕获数字图像的实时相机馈送。然后，如图5所示，用户可以在用户界面中“敲击”表示物理对象106的位置。
然后，例如经由最近邻搜索，由邻近搜索模块210查找经过滤的点云数据206内与物理对象106相对应的点的子集212(框1008)。例如，邻近搜索模块210可以迭代地找到经过滤的点云数据206中接近用户输入208的初始选择点“p0”的每个点。这使用KD树进行以下操作来实现：建立经过滤的点云数据206的空间索引，并且然后查询初始对象选择点“p0”的邻近度“d”内的这些点，然后将这些点添加到点集“ps”。在下一次迭代中进一步搜索集合“ps”内新添加的点的邻近度“d”。
随着发现邻近度“d”内更多的点，搜索与那些新发现的点接近的其他点直到不再找到这样的点，并且将其添加到集合“ps”中，从而形成点的子集212。作为其一部分，在点的子集212中找到距基础平面最远的点，即，最高点。图5示出了点的子集212的示例500。
然后，由二维投影模块214接收点的子集212作为输入，该二维投影模块214被配置成生成二维投影216(框1010)。例如，二维投影模块214可以针对点的子集212中的每个点将Y坐标重置为0，其示例600在图6中示出。这形成了布置在基础平面上的作为点的子集212的二维投影216。
然后，采用二维边界模块218基于二维投影216生成二维边界220，二维边界220可以具有基于投影的形状。为此，如图7的示例700所示，计算二维凸包702(即，边界形状)，该二维凸包702围绕由二维边界模块218投影在基础平面上的二维投影216中的点。然后，二维边界模块218使用旋转卡尺技术基于二维凸包生成最小二维边界220。
然后，在该示例中，由三维挤压模块222将二维边界220挤压成三维边界224作为边界数据120(框1012)。如图8的示例800所示，二维边界被扩展成与二维边界共享面的矩形长方体。三维边界224的高度基于作为过滤的一部分被查找的点的子集212中的距基础平面最远的点，即最高点。因此，三维边界224具有基于二维边界的形状。
在用户界面中显示三维边界的尺寸(框1014)。如图9的示例900所示，三维边界224被显示为在包括实时相机馈送的用户界面902内的增强现实数字内容。该示例中的三维边界224包围物理对象在数字图像中的表示(周围显示)。
可以利用三维边界224来支持各种功能。例如，返回图1，可以通过网络124将包括三维边界224的边界数据120传送至服务提供商系统126。然后，服务提供商系统126的服务管理器模块128基于该边界框生成送货数据108。例如，服务管理器模块128可以采用包装材料服务140，该包装材料服务140被配置成确定用于包装物理对象106的包装材料(例如盒子、形状、信封和填充物大小)。例如，包装材料服务140可以基于三维边界224的尺寸以及要用作盒子体积内填充物的填充物(例如，泡沫包装)来选择包装材料的大小和形状。以这种方式，可以由用户104易用的计算装置102准确地并且自动地确定包装材料的正确大小和填充物材料的量。
在另一实例中，送货服务142被配置成估计物理对象106的送货成本。例如，送货服务142可以在三维边界的尺寸的基础上进行估计。在另一实例中，数字商务服务144采用边界数据120作为数字内容(例如，提供由用户104出售物理对象106的网页)的生成的一部分。继续前述示例，可以生成网页以提供用于出售的物理对象106。作为由计算装置102执行的应用的生成的一部分，生成三维边界224并且将其用于生成送货数据108，例如，作为从多个视角捕获数字图像的一部分，数字图像也将被包括作为数字内容的一部分。以这种方式，出于双重目的，这些技术可以有效地利用这些数字图像的捕获，从而提高计算装置102的操作的效率。
图11和图12描绘了物理对象边界检测技术和系统的其他示例1100、1200。在该示例中，在计算装置102处经由用户界面接收用户输入以发起数字内容的生成(框1102)，该数字内容由服务提供商经由网络提供用于出售的物理对象106。例如，应用可以由与服务提供商系统126相关联的计算装置102来执行。服务提供商系统126包括数字商服务，该数字商务服务能够用于提供用于出售的产品。为此，生成数字内容(例如，用于在移动应用中输出的网页、用户界面画面等)以指示物理对象106的可用性。
作为该示例的一部分，在计算装置102处经由应用的用户界面接收用户输入以发起作为数字内容的生成的一部分对物理对象的送货成本的估计(框1104)。因此，如前所述从AR模块110生成点云数据116。
如前所述，计算装置102可以利用AR模块110来生成点云数据116。AR模块110包括三维(3D)感测装置112和点云生成模块114，三维感测装置112和点云生成模块114被配置成生成描述物理环境内的各个点处的深度的点云数据116。例如，在右手习惯中，点云数据116可以描述点，其中，作为坐标系的一部分，y轴是垂直的并且x轴是水平的并且z轴限定深度。
在一个示例中，3D感测装置112和点云生成模块114采用称为视觉惯性里程计的技术，在该技术中，3D感测装置112包括运动检测传感器(例如，陀螺仪、加速计)和相机以捕获物理环境的数字图像。点云生成模块114被配置成执行数字图像的计算机视觉分析以识别数字图像中的特征并且跟踪这些特征的位置上的差异。
点云生成模块114将来自运动检测传感器的运动感测数据与所跟踪的特征位置的差异进行比较以生成点云数据116，点云数据116将物理环境中的点的深度建模为例如深度图。以这种方式，AR模块110可以在计算装置102移动时跟踪其位置以基于从数字图像识别的特征来建立对物理环境的理解。该功能还可以支持基础平面检测，例如，诸如地板或桌子的平坦表面。因此，在该示例中，可以在没有专用硬件的情况下通过多种移动计算装置例如智能电话和平板电脑生成点云数据116。
在另一示例中，利用专用硬件来发射无线电波(例如，Wi-Fi波)，无线电波的返回由3D感测装置112感测(例如，使用雷达技术)。这包括使用如上所述的运动跟踪(例如，使用加速计、气压计、GPS和/或陀螺仪)，使得点云生成模块114可以获得对物理环境内的点的深度的理解以生成点云数据116。还考虑了其他示例，例如飞行时间相机、结构化光栅阵列装置等。
图13描绘了从多个视角生成点云数据并且针对这些视角中的每个视角生成二维边界的示例实现方式。在该示例中，相对于物理对象106从多个不同视角1302、1304、1306(例如，上面、侧面、前面、后面等)捕获点云数据116。点云数据限定物理环境内的各个点处的深度(框1106)。
例如，AR模块110可以包括用于命中测试点的功能以指示沿着相机平截头体中的矢量从相机到最近对象的距离。使用这些功能，AR模块110构建1厘米的点网格，并且对每帧的多个点进行命中测试以实时地构建物理环境的深度图。这产生了对象内的点的点云数据116，其中距基础平面预定距离内的点被去除。
物理对象边界检测模块118被配置成确定何时从足够数目的视角收集到足够数目的点，并且作为响应，停止AR模块110生成点云数据116。这起到节省计算装置102的计算资源的作用。这还支持用户反馈，该用户反馈指示可以生成三维边界框的时间点。
然后，物理对象边界检测模块118计算多个二维边界1308、1310、1312，其中，每个二维边界与多个视角1302、1304、1306中的相应视角相对应(框1110)。为此，物理对象边界检测模块118通过以增量(例如，五度)旋转经过定义的弧1314(例如，九十度)来确定最佳吻合，并且在每个角度处生成点云的二维边界。在实现方式中，二维边界具有与在该视角处的点的最小面积相对应的形状。
然后，物理对象边界检测模块118从多个二维边界中选择二维边界以用于估计边界框(框1202)。例如，物理对象边界检测模块118可以选择具有最小的(即，最小量的)面积的二维边界。
然后，物理对象边界检测模块118使用该二维边界来生成三维边界(框1204)，该三维边界的尺寸(例如，以及形状)基于所选择的边界以及从点云数据获取的物理对象的高度。例如，可以沿着Y轴比较边界框内的点，以确定点云数据中具有距基础平面1318最大距离的点1316或点群。这定义了Y轴，该Y轴与所选择的具有最小尺寸的二维边界的大小共同定义三维边界。
然后，由送货模块122使用三维边界以获得送货数据108(框1206)。例如，可以将三维边界的尺寸与包装材料的尺寸进行比较，以定出具有最小尺寸和形状的盒子以及用于在盒子内支撑物理对象106的包装(例如，“填充物”)的量。这也可以用于估计送货成本。该送货数据108可以作为实时相机馈送内的增强现实数字内容与三维边界一起显示在用户界面中(框1208)。送货数据108也可以自动地并且在没有用户干预的情况下被包括为数字内容的一部分，例如，响应于将该数据包括为提供出售物理对象106的一部分的用户输入“同意(okaying)”。以这种方式，应用支持有效的非模态交互以将该送货数据包括为数字内容的一部分，并且因此提高了用户和操作效率。
示例系统和装置
图14在1400处总体上示出了包括示例计算装置1402的示例系统，该示例计算装置1402表示可以实现在本文中描述的各种技术的一个或更多个计算系统和/或装置。这通过包括物理对象边界检测模块118来说明。例如，计算装置1402可以是服务提供商的服务器、与客户端相关联的装置(例如，客户端装置)、片上系统和/或任何其他合适的计算装置或计算系统。
如图所示的示例计算装置1402包括彼此通信地耦接的处理系统1404、一个或更多个计算机可读介质1406、以及一个或更多个I/O接口1408。尽管未示出，但计算装置1402还可以包括系统总线或者将各个部件彼此耦接的其他数据和命令传输系统。系统总线可以包括以下不同总线结构中的任何一种或者不同总线结构的组合：例如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线。还考虑了各种其他示例，例如控制线和数据线。
处理系统1404表示使用硬件执行一个或更多个操作的功能。因此，处理系统1404被示为包括硬件元件1410，该硬件元件1410可以被配置为处理器、功能块等。这可以包括作为使用一个或更多个半导体形成的专用集成电路或其他逻辑装置的硬件形式的实现。硬件元件1410不受形成它们的材料或本文中采用的处理机制的限制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读存储介质1406被示为包括存储器/存储装置1412。存储器/存储装置1412表示与一个或更多个计算机可读介质相关联的存储器/存储装置的容量。存储器/存储装置部件1412可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储装置部件1412可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移除介质(例如，闪存、可移除硬盘驱动器、光盘等)。可以以如下文进一步描述的各种其他方式来配置计算机可读介质1406。
输入/输出接口1408表示允许用户向计算装置1402输入命令和信息并且还允许使用各种输入/输出装置将信息呈现给用户和/或其他部件或装置的功能。输入装置的示例包括键盘、光标控制装置(例如，鼠标)、麦克风、扫描仪、触摸功能性(例如，被配置成检测物理触摸的电容或者其他传感器)、相机(例如，采用可见或不可见波长(例如，红外频率)以识别作为不涉及触摸的手势的运动)等。输出装置的示例包括显示装置(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应装置等。因此，可以以如下文进一步描述的各种方式来配置计算装置1402以支持用户交互。
可以在软件、硬件元件或者程序模块的一般上下文中在本文中描述各种技术。通常，这样的模块包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、元件、部件、数据结构等。本文中使用的术语“模块”、“功能”和“部件”通常表示软件、固件、硬件或者它们的组合。本文中所描述的技术的特征是平台无关的，意味着可以在具有各种处理器的各种商业计算平台上实现这些技术。
所描述的模块和技术的实现方式可以存储在某种形式的计算机可读介质上或者在某种形式的计算机可读介质上传输。计算机可读介质可以包括由计算装置1402可以访问的各种介质。通过示例而非限制的方式，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指与仅信号传输、载波或信号本身相比能够实现信息的持久和/或非暂态存储的介质和/或装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移除和不可移除的介质的硬件和/或以适合于存储诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据的信息的方法或技术来实现的存储装置。计算机可读存储介质的示例可以包括但不限于，RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储、硬盘、磁带盒、磁带、磁盘存储装置或其他磁性存储装置、或者其他存储装置、有形介质或者适合存储期望的信息并且可以由计算机访问的制品。
“计算机可读信号介质”可以指被配置成例如经由网络向计算装置1402的硬件发送指令的信号承载介质。信号介质通常可以在诸如载波、数据信号或其他传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以对信号中的信息编码的方式设置或改变其一个或更多个特性的信号。通过示例而非限制的方式，通信介质包括诸如有线网络或直接线连接的有线介质，以及诸如声学、RF、红外和其他无线介质的无线介质。
如前所述，硬件元件1410和计算机可读介质1406表示以硬件形式实现的模块、可编程器件逻辑和/或固定器件逻辑，这些硬件形式可以在一些实施方式中被采用以实现本文中所描述的技术的至少一些方面，例如执行一个或更多个指令。硬件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅或其他硬件中的其他实现方式的部件。在该上下文中，硬件可以操作为执行由指令定义的程序任务和/或由硬件体现的逻辑处理装置，以及用于存储用于执行的指令的硬件(例如，先前所描述的计算机可读存储介质)。
还可以采用前述的组合来实现本文中所描述的各种技术。因此，软件、硬件或可执行模块可以被实现为在某种形式的计算机可读存储介质上和/或由一个或更多个硬件元件1410实施的一个或更多个指令和/或逻辑。计算装置1402可以被配置成实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，可以例如通过使用处理系统1404的计算机可读存储介质和/或硬件元件1410至少部分地以硬件实现由计算装置1402可执行为软件的模块的实现方式。指令和/或功能可以由一个或更多个制造产品(例如，一个或更多个计算装置1402和/或处理系统1404)可执行/可操作以实现本文中所描述的技术、模块和示例。
计算装置1402的各种配置可以支持在本文中描述的技术，并且不限于本文中描述的技术的特定示例。如下所述，还可以通过使用分布式系统，例如经由平台1416在“云”1414上，来全部或者部分地实现该功能。
云1414包括和/或表示用于资源1418的平台1416。平台1416抽象化云1414的硬件(例如，服务器)和软件资源的底层功能。资源1418可以包括当在距计算装置1402较远的服务器上执行计算机处理时可以利用的应用和/或数据。资源1418还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。
平台1416可以抽象化资源和功能以将计算装置1402与其他计算装置连接。平台1416还可以用于对资源的规模进行抽象化以对经由平台1416实现的资源1418遇到的需求提供相应级别的规模。因此，在互连装置实施方式中，本文中所描述的功能的实现方式可以分布在整个系统1400中。例如，该功能可以部分地在计算装置1402上实现以及经由对云1414的功能进行抽象化的平台1416来实现。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求中限定的本发明不一定限于所描述的特定特征或动作。而是，特定特征和动作被公开为实现所要求保护的发明的示例形式。

Claims (20)

1.一种由至少一个计算装置实现的方法，包括：
由所述至少一个计算装置获得点云数据，所述点云数据限定包括物理对象的物理环境内的各个点处的深度；
由所述至少一个计算装置通过从所述点云数据去除与基础平面相对应的点来过滤所述点云数据；
由所述至少一个计算装置经由用户界面接收指定所述物理对象的位置的用户输入；
由所述至少一个计算装置查找经过滤的点云数据内与所述物理对象相对应的点的子集，所述查找使用基于所述用户输入的位置的邻近搜索来执行；
由所述至少一个计算装置基于所查找的子集生成二维边界；
由所述至少一个计算装置将所述二维边界挤压成三维边界；以及
由所述至少一个计算装置将所述三维边界显示在所述用户界面中。
2.根据权利要求1所述的方法，其中，所述用户界面包括作为实时相机馈送的一部分的所述物理环境的数字图像的显示，所述数字图像包括所述物理对象并且与所述点云数据对应。
3.根据权利要求2所述的方法，其中，所述过滤是基于经由所述用户界面接收的指示所述基础平面在所述点云数据中的位置的另一用户输入。
4.根据权利要求1所述的方法，其中，所述查找基于最近邻搜索。
5.根据权利要求1所述的方法，其中，所述二维边界的生成包括：
将所查找的点的子集投影到所述基础平面上；
计算包围投影的点的凸包；以及
使用旋转卡尺技术从所述凸包生成所述二维边界。
6.根据权利要求1所述的方法，其中：
所述过滤包括确定经过滤的点云数据中距所述基础平面最远的点的高度；以及
所述挤压基于所述高度，使得所述三维边界具有所述高度。
7.根据权利要求1所述的方法，其中，所述显示包括在所述用户界面中显示关于所述物理对象的作为增强现实数字内容的尺寸。
8.根据权利要求1所述的方法，其中，所获得的点云数据是从由点云生成模块生成的数据下采样的版本。
9.根据权利要求1所述的方法，还包括基于所述三维边界的尺寸获得描述估计的送货成本的数据，并且其中，所述显示包括所述估计的送货成本。
10.根据权利要求1所述的方法，其中，所述用户界面包括作为实时相机馈送的数字图像，所述显示包括将所述三维边界显示为与所述物理对象一起布置的增强现实数字内容。
11.一种方法，包括：
由至少一个计算装置在用户界面中显示数字图像的实时相机馈送；
由所述至少一个计算装置生成关于物理对象从多个视角生成的点云数据，所述点云数据限定所述物理环境内的各个点处的深度；
由至少一个计算装置计算多个二维边界，其中，每个所述边界与所述多个视角中的相应视角对应；
由所述至少一个计算装置从所述多个二维边界中选择二维边界；
由所述至少一个计算装置生成三维边界，所述三维边界的尺寸基于所选择的二维边界和来自所述点云数据的所述物理对象的高度；以及
由所述至少一个计算装置将所述三维边界显示为实时相机馈送内的增强现实数字内容。
12.根据权利要求11所述的方法，还包括由所述至少一个计算装置至少部分地基于所述三维边界来获得送货数据。
13.根据权利要求12所述的方法，其中，所述送货数据是运送所述物理对象的估计成本。
14.根据权利要求12所述的方法，其中，所述送货数据是在包装所述物理对象时使用的包装大小或形状。
15.根据权利要求11所述的方法，还包括：
由所述至少一个计算装置经由所述用户界面接收用户输入，以发起作为由服务提供商经由网络提供用于出售的所述物理对象的一部分的数字内容的生成；
由所述至少一个计算装置经由所述用户界面接收另一用户输入，以发起作为所述数字内容的生成的一部分的所述物理对象的所述送货数据的生成，并且其中，响应于所述另一用户输入执行所述实时相机馈送的显示；以及
由所述至少一个计算装置将所述数字内容生成为包括所述送货数据。
16.一种计算装置，包括：
显示装置；
增强现实模块，所述增强现实模块包括三维感测装置和点云生成模块，所述三维感测装置和所述点云生成模块至少部分地以硬件实现以生成限定物理环境内的物理对象的各个点处的深度的点云数据；以及
物理对象边界检测模块，所述物理对象边界检测模块至少部分地以硬件实现以根据所述点云数据生成三维边界并且基于所述三维边界生成送货数据，所述三维边界和所述送货数据作为增强现实数字内容在所述显示装置的用户界面中的所述物理对象的实时相机馈送中输出。
17.根据权利要求16所述的计算装置，其中，所述送货数据是运送所述物理对象的估计成本。
18.根据权利要求16所述的计算装置，其中，所述送货数据是在包装所述物理对象时使用的包装大小或形状。
19.根据权利要求16所述的计算装置，其中，所述物理对象边界检测模块被配置成通过进行以下操作生成所述三维边界：
计算多个二维边界，其中，每个所述二维边界与通过所述点云数据捕获的多个视角中的相应视角对应；
从所述多个二维边界中选择二维边界；以及
生成三维边界，所述三维边界的尺寸基于所选择的二维边界和来自所述点云数据的所述物理对象的高度。
20.根据权利要求16所述的计算装置，其中，所述物理对象边界检测模块被配置成通过以下操作生成所述三维边界：
通过从所述点云数据中去除与基础平面相对应的点来过滤所述点云数据；
经由所述用户界面接收指定所述物理对象的位置的用户输入；
查找经过滤的点云数据内与所述物理对象相对应的点的子集，所述查找使用基于所述用户输入的位置的邻近搜索来执行；
基于所查找的子集生成二维边界；以及
将所述二维边界挤压成所述三维边界。
CN201980032813.XA 2018-05-18 2019-05-10 物理对象边界检测技术和系统 Active CN112166461B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/984,140 US10853946B2 (en) 2018-05-18 2018-05-18 Physical object boundary detection techniques and systems
US15/984,140 2018-05-18
PCT/US2019/031842 WO2019222061A1 (en) 2018-05-18 2019-05-10 Physical object boundary detection techniques and systems

Publications (2)

Publication Number Publication Date
CN112166461A true CN112166461A (zh) 2021-01-01
CN112166461B CN112166461B (zh) 2024-09-24

Family

ID=66676908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032813.XA Active CN112166461B (zh) 2018-05-18 2019-05-10 物理对象边界检测技术和系统

Country Status (5)

Country Link
US (4) US10853946B2 (zh)
EP (1) EP3794562A1 (zh)
KR (2) KR102711186B1 (zh)
CN (1) CN112166461B (zh)
WO (1) WO2019222061A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115046480A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种测量长度的方法、电子设备以及移动设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
WO2021013790A1 (en) * 2019-07-19 2021-01-28 Five AI Limited Structure annotation
TWI709062B (zh) * 2019-09-20 2020-11-01 財團法人資訊工業策進會 虛實疊合方法與系統
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11412382B2 (en) * 2019-11-07 2022-08-09 Humans, Inc Mobile application camera activation and de-activation based on physical object location
WO2021117366A1 (ja) * 2019-12-10 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US12099959B2 (en) 2020-01-14 2024-09-24 Humans, Inc Mobile application camera activation and de-activation based on physical object location
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
WO2022077190A1 (zh) * 2020-10-12 2022-04-21 深圳市大疆创新科技有限公司 数据处理方法、控制设备及存储介质
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
KR102539827B1 (ko) * 2021-10-27 2023-06-08 한국전자기술연구원 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
CN116740114B (zh) * 2023-08-11 2023-11-21 之江实验室 一种基于凸包检测的目标物边界拟合方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293532A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Segmentation of 3d point clouds for dense 3d modeling
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
US20160133026A1 (en) * 2014-11-06 2016-05-12 Symbol Technologies, Inc. Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US20170091957A1 (en) * 2015-09-25 2017-03-30 Logical Turn Services Inc. Dimensional acquisition of packages
CN107289855A (zh) * 2016-04-13 2017-10-24 西克股份有限公司 用于测量目标对象的尺寸的方法和系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
US10628666B2 (en) * 2010-06-08 2020-04-21 Styku, LLC Cloud server body scan data system
US8872851B2 (en) 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
US10157495B2 (en) 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
KR101907081B1 (ko) 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9595115B1 (en) * 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
JP5921271B2 (ja) * 2012-03-19 2016-05-24 株式会社東芝 物体測定装置、及び物体測定方法
US9779546B2 (en) * 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9418478B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Methods and apparatus for building a three-dimensional model from multiple data sets
US20140192050A1 (en) 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
US9251411B2 (en) * 2013-09-24 2016-02-02 Hand Held Products, Inc. Augmented-reality signature capture
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US10451875B2 (en) * 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US9828128B1 (en) * 2014-12-17 2017-11-28 X Development Llc On-demand protective structures for packaging items in a container
US9785204B1 (en) * 2015-05-15 2017-10-10 Mobiledemand Lc Ruggedized mobile device with integrated wireless charging and snap mount
ES2834553T3 (es) 2015-06-12 2021-06-17 Accenture Global Services Ltd Un método y sistema de realidad aumentada de medición y/o fabricación
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10372728B2 (en) * 2016-09-16 2019-08-06 Oracle International Corporation System and method providing a scalable and efficient space filling curve approach to point cloud feature generation
CN106225678B (zh) 2016-09-27 2018-10-19 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
KR102246841B1 (ko) * 2016-10-05 2021-05-03 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
KR20180046361A (ko) * 2016-10-27 2018-05-08 삼성에스디에스 주식회사 깊이 센서 기반의 적재 최적화 방법 및 시스템
TWI634495B (zh) * 2016-12-28 2018-09-01 財團法人工業技術研究院 物流站與物流托運方法
US10424083B2 (en) * 2017-10-21 2019-09-24 Samsung Electronics Co., Ltd. Point cloud compression using hybrid transforms
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293532A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Segmentation of 3d point clouds for dense 3d modeling
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
US20160133026A1 (en) * 2014-11-06 2016-05-12 Symbol Technologies, Inc. Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US20170091957A1 (en) * 2015-09-25 2017-03-30 Logical Turn Services Inc. Dimensional acquisition of packages
CN107289855A (zh) * 2016-04-13 2017-10-24 西克股份有限公司 用于测量目标对象的尺寸的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARCO LEO等: "Robust Estimation of Object Dimensions and External Defect Detection with a Low-Cost Sensor", 《JOURNAL OF NONDESTRUCTIVE EVALUATION》, vol. 36, no. 1, 10 February 2017 (2017-02-10), pages 1 - 16, XP036168665, DOI: 10.1007/s10921-017-0395-7 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115046480A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种测量长度的方法、电子设备以及移动设备
CN115046480B (zh) * 2021-03-09 2023-11-10 华为技术有限公司 一种测量长度的方法、电子设备以及移动设备

Also Published As

Publication number Publication date
US20240046481A1 (en) 2024-02-08
US20230252642A1 (en) 2023-08-10
KR20200136432A (ko) 2020-12-07
US11562492B2 (en) 2023-01-24
KR20230072510A (ko) 2023-05-24
US10853946B2 (en) 2020-12-01
EP3794562A1 (en) 2021-03-24
US20190355121A1 (en) 2019-11-21
KR102532218B1 (ko) 2023-05-17
US11830199B2 (en) 2023-11-28
CN112166461B (zh) 2024-09-24
KR102711186B1 (ko) 2024-10-02
US20210065375A1 (en) 2021-03-04
WO2019222061A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN112166461B (zh) 物理对象边界检测技术和系统
KR102471195B1 (ko) 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
CN108876706B (zh) 根据全景图像的缩略图生成
US10249052B2 (en) Stereo correspondence model fitting
AU2016262789B2 (en) 3d modeling by tracing 2d image ui
CN112204623B (zh) 着色三维数字模型生成
US10114545B2 (en) Image location selection for use in depth photography system
CN113168712A (zh) 从多个图像中选择互补图像以用于3d几何提取的系统和方法
US20160154477A1 (en) Information processing system, information processing apparatus, method of transforming coordinates
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备
US20190012843A1 (en) 3D Object Composition as part of a 2D Digital Image through use of a Visual Guide
CN116824105A (zh) 建筑信息模型的显示调整方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant