CN109792488A - 用以辅助三维扫描对象的用户界面 - Google Patents

用以辅助三维扫描对象的用户界面 Download PDF

Info

Publication number
CN109792488A
CN109792488A CN201780061139.9A CN201780061139A CN109792488A CN 109792488 A CN109792488 A CN 109792488A CN 201780061139 A CN201780061139 A CN 201780061139A CN 109792488 A CN109792488 A CN 109792488A
Authority
CN
China
Prior art keywords
scanner
user apparatus
user
scanning
gui
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780061139.9A
Other languages
English (en)
Inventor
M·菲施勒
A·帕荣克
M·K·兰加纳特
S·孙达雷桑
M·A·萨尔基斯
S·比思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109792488A publication Critical patent/CN109792488A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明揭示用于辅助用户对对象执行三维扫描的方法及设备。辅助扫描的实例用户装置可包含处理器。所述用户装置可进一步包含扫描仪，所述扫描仪耦合到所述处理器且经配置以对对象执行三维扫描。所述用户装置还可包含显示器以显示图形用户界面，其中所述显示器耦合到所述处理器。所述用户装置可进一步包含耦合到所述处理器及所述显示器的存储器，所述存储器包含一或多个指令，所述一或多个指令在由所述处理器执行时致使所述图形用户界面显示用于三维3D扫描的目标标记并显示扫描仪位置标记以辅助将所述扫描仪移动到优选位置及方向。

Description

用以辅助三维扫描对象的用户界面
技术领域
本方面一般涉及图像处理、用户界面及增强现实，且具体地涉及辅助执行三维扫描。
背景技术
技术的进步已产生较小且较强大计算装置。举例来说，当前存在各种便携式个人计算装置，包含无线电话，例如移动及智能电话、平板及膝上型计算机，其为小型，轻量且容易由用户携带。这些装置可经由无线网络传递语音及数据包。此外，许多此类装置并入额外功能，例如一或多个数字静态照相机、一或多个数字视频照相机、一或多个红外扫描仪、一或多个超声扫描仪等。如此，这些装置可包含显著计算能力。
随着这些进步，对象之三维扫描及渲染对于临时用户及新手来说变得越来越可用。例如，在使用相机作为输入装置时，无线电话、无人交通载具(例如无人机)、机器人、飞机、汽车、安装式相机、个人相机及其它装置可经配置为捕获图像，其可用于生成对象的三维(3D)模型。
手持扫描装置或其它便携式扫描装置(例如附接到无人交通载具或安装在交通载具上)可用于执行三维(3D)扫描。然而，在执行扫描时可能需要一些辅助来操作此类装置，以便确保收集足够的信息以便恰当地渲染对象。
发明内容
本发明内容经提供以按简化的形式介绍在下面的具体实施方式中进一步描述的一些概念。本发明内容既不意欲识别所主张标的物的关键特征或基本特征，也不意欲限制所主张标的物的范围。
本发明的各方面係针对用于辅助执行三维扫描的方法及设备。在一个实例中，揭示一种用以辅助对象的三维扫描的用户装置。所述装置可包含处理器。用户装置可进一步包含扫描仪，所述扫描仪耦合到处理器且经配置以执行对象之三维扫描。所述用户装置还可包含显示器以显示图形用户界面，其中所述显示器耦合到所述处理器。用户装置可进一步包含耦合到处理器及显示器的存储器，存储器包含一或多个指令，当由处理器执行时，所述指令使得图形用户界面显示用于三维(3D)扫描的目标标记并显示扫描仪位置标记，以辅助用户将扫描仪移动到优选位置及方向。
在另一实例中，揭示一种用于由包含扫描仪的用户装置执行对象的三维扫描的方法。所述方法可包含在用户装置的显示器上显示图形用户界面(GUI)以辅助扫描对象。显示GUI可包含显示正被扫描的对象的目标标记。显示GUI还可包括显示指示扫描仪相对于目标标记的优选位置的第一扫描仪位置标记。
在另一实例中，揭示一种用于辅助执行三维扫描的非暂时性计算机可读存储媒体。存储媒体可存储含有指令的一或多个程序，当由使用扫描仪的用户装置的一或多个处理器执行对象的三维扫描时，所述指令使得用户装置执行一些操作。操作可包含在用户装置的显示器上显示图形用户界面(GUI)以辅助扫描对象。显示GUI可包含显示正被扫描的对象的目标标记。显示GUI还可包含显示指示扫描仪相对于目标标记的优选位置的第一扫描仪位置标记，其中第一扫描仪位置标记的至少部分及目标标记的至少部分在扫描仪处于优选位置时叠加。显示GUI可进一步包含显示可视边界。可视边界可用于为对象定义用于移动扫描仪的扫描路径。此外，第一扫描仪位置标记可位于可视边界上。显示GUI还可包含，在目标标记的至少部分及第一扫描仪位置标记的至少部分叠加时，在可视边界上的新位置处显示第二扫描仪位置标记，指示扫描仪相对于目标标记的新优选位置。
在另一实例中，揭示一种用以辅助对象的三维扫描的用户装置。用户装置可包含用于执行对象的三维扫描的扫描仪，用于显示被扫描对象的目标标记的装置，以及用于显示指示扫描仪相对于目标标记的优选位置的第一扫描仪位置标记的装置。
用户装置还可包含用于在第一扫描仪位置标记与目标标记之间显示瞄准器的装置，以辅助用户将扫描仪移动到优选位置。
用户装置还进一步包含用于在扫描仪处于优选位置时叠加第一扫描仪位置标记的至少部分及目标标记的至少部分的装置。
用户装置还可包含用于显示扫描仪标记以辅助用户相对于目标标记定向扫描仪的装置。
用户装置可经一部包含用于显示可视边界的装置，其中可视边界用于为对象定义用于移动扫描仪的扫描路径，且第一扫描仪位置标记位于可视边界上。用户装置还可包含用于基于由被扫描对象的类型及被扫描对象的轮廓组成的组中的至少一者来确定可视边界的装置。用户装置可进一步包含用于存储多个预定义可视边界的装置，用于自动确定被扫描对象类型的装置，以及用于基于所述确定从所存储的多个预定义可视边界中选择可视边界的装置。
用户装置还可包含用于在可视边界上的新位置处显示第二扫描仪位置标记的装置，其在目标标记的至少部分及第一扫描仪位置标记的至少部分叠加在GUI中指示扫描仪相对于目标标记的新优选位置。用户装置可进一步包含，其中第二扫描仪位置标记为第一扫描仪位置标记，用于沿着扫描路径的部分移动第一扫描仪位置标记的装置，其中所述部分指示用于使扫描仪从优选扫描仪移动到新优选位置的期望路径。
用户装置还可包含用于以确定顺序显示多个扫描仪位置标记的第一部分以辅助沿着扫描路径移动扫描仪的装置，以及用于基于在显示第一部分时来自当前扫描的信息调整多个扫描仪位置标记的第二部分的装置，包含调整由以下组成的组中的至少一者：一定数目的多个扫描仪位置标记，用于显示扫描仪位置标记的确定顺序，以及多个扫描仪位置标记中的一或多者在可视边界上的位置。调整第二部分可进一步基于来自先前扫描的用户信息。
用户装置还可包含用于在三维扫描期间从收集的扫描信息中显示对象的渲染的装置。用户装置可进一步包含用于确定对象的实际背景类似于被扫描对象的装置，以及用于显示从实际背景变更的渲染背景以辅助用户在扫描期间将对象与实际背景区分开的装置。
用户装置还可包含用于放大对象的渲染的部分以辅助用户扫描与渲染的部分相关联的对象的部分的装置。
附图说明
通过举例方式而非通过限制方式在所附图式的图中说明本文中揭示内容，且其中相同参考编号可指类似元件，在附图中：
图1为描绘根据本发明的一些方面的用于执行对象的三维(3D)扫描的实例系统的说明。
图2为可用于执行本发明的方面的图1中的实例用户装置的框图。
图3为根据本发明的一些方面描绘用于扫描对象的图1的系统的实例初始设置的说明。
图4为根据本发明的一些方面描绘在扫描对象之前的图形使用界面(GUI)的实例初始显示的说明。
图5为根据本发明的一些方面描绘在执行扫描之前但在相机开始捕获帧之后的GUI的实例显示的说明。
图6为根据本发明的一些方面描绘当扫描仪准备开始扫描时GUI的实例显示的说明。
图7为根据本发明的一些方面描绘扫描开始时GUI的实例显示的说明。
图8为根据本发明的一些方面描绘当扫描仪大致沿着扫描仪位置标记朝向目标标记定向时GUI的实例显示的说明。
图9为根据本发明的一些方面描绘通知用户扫描仪经定向为远离对象的GUI的实例显示的说明。
图10为根据本发明的一些方面描绘当扫描仪相对于扫描仪位置标记从第一位置移动到第二位置时GUI的实例显示的说明。
图11为根据本发明的一些方面描绘当扫描仪大致沿着第二位置处的扫描仪位置标记朝向目标标记定向时GUI的实例显示的说明。
图12为根据本发明的一些方面描绘当扫描对象完成一半时GUI的实例显示的说明。
图13为根据本发明的一些方面描绘用户装置的GUI辅助执行对象的3D扫描的实例操作的说明性流程图。
图14A为根据本发明的一些方面描绘待扫描对象的实例显示的图示。
图14B为描绘在GUI中显示的用于图14A中显示的对象的实例可视边界的说明。
图15A为根据本发明的一些方面描绘待扫描的多个对象的实例显示的说明。
图15B为描绘在GUI中显示的用于图15A中所显示的多个对象的实例可视边界的说明。
图15C为描绘显示图15A中的实例性可视边界的GUI的实例显示的说明，其中欲扫描与所识别的可视边界相关联的对象。
图15D为描绘显示图15C中的所识别可视边界的缩放视图的图15C中的GUI的实例显示的说明。
图16A为根据本发明的一些方面描绘待扫描对象的实例显示的图示。
图16B为描绘在GUI中显示的用于图16A中显示的对象的实例可视边界的说明。
图16C为描绘显示图16A中的对象的GUI的实例显示的说明，其中替换对象的背景。
图16D为描绘以比图16B中所说明高的缩放级别显示图16B中的可视边界的图16C中的GUI的实例显示的说明。
图16E为描绘显示与图16D中的可视边界的显示部分对应的图16A中的对象(或对象的渲染)的部分的图16C中的GUI的实例显示的说明，其中以比图16A中所说明高的缩放级别显示对象(或对象的渲染)。
图17A为描绘用户装置生成待扫描对象的可视边界的实例操作的说明性流程图。
图17B为描绘用户装置确定待扫描对象的可视边界的另一实例操作的说明性流程图。
图18为描绘用户装置在辅助扫描时更新用于移动扫描仪的优选路径的实例操作的说明性流程图。
图19为描绘扫描期间航路点之间的实例性扫描仪移动的说明。
图20为描绘基于图19中所说明的扫描仪移动来增加扫描期间的航路点的数目的说明。
图21为描绘另一实例性扫描仪移动并基于扫描仪移动减少扫描期间的航路点数目的说明。
图22A为描绘图20中所说明的航路点之间的进一步扫描仪移动且基于进一步扫描仪移动在扫描期间减少航路点的剩余数目的说明。
图22B为描绘调整图22A中所说明的剩余航路点的位置的说明。
图23为根据本发明的一些方面描绘用户装置在扫描期间确定及更新航路点的实例操作的说明性流程图。
具体实施方式
在以下描述中，阐述许多具体细节，例如特定组件、电路及过程的实例以提供对本发明的透彻理解。如本文中所使用的术语“耦合”意指直接连接或通过一或多个中间组件或电路连接。此外，在以下描述中且出于阐释的目的，阐明特定细节以便提供对本发明的透彻理解。然而，对于所属领域的技术人员来说显而易见，为了实践本发明的实例，不需要这些具体细节。在其它情况下，以框图形式展示众所周知的电路及装置以避免模糊本发明。以下详细描述的一些部分以程序、逻辑块、处理及对计算机存储器内的数据位的操作的其它符号表示的形式呈现。这些描述及表示是数据处理领域的技术人员用来最有效地将其工作的实质传达给所属领域其它技术人员的手段。在本发明中，程序、逻辑块、过程等被认为是导致期望结果的自相一致的步骤或指令序列。这些步骤是需要物理操纵物理量的步骤。通常，尽管不是必须的，但这些量采取能够被存储、传输、组合、比较及在计算机系统中以其它方式操纵的电信号或磁信号的形式，
然而，应记住，所有这些及类似术语都与适当的物理量相关联，且仅仅是应用于这些量的方便标签。除非从以下论述中明确指出，否则应了解，在整个本申请案中，利用例如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”、“正规化”、“乘法”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“推导”等术语的论述指的是计算机系统或类似的电子计算装置的动作及过程，该计算机系统或类似电子计算装置将表示为计算机系统的寄存器及存储器内的物理(电子)量操纵并变换成类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示装置内的物理量的其它数据。
在附图中，单个块可经描述为执行一或多个功能；然而，在实际实践中，由所述块执行的一或多个功能可在单个组件中或跨多个组件执行，及/或可使用硬件、使用软件或使用硬件与软件的组合来执行。为了清楚地说明硬件及软件的此可互换性，下面通常在其功能方面描述各种说明性的组件、块、模块、电路及步骤。将此功能性实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。技术人员可针对每一特定应用以不同方式实施所描述的功能性，但是，此实施决定不应被解释为导致脱离本发明的范围。此外，实例性无线通信设备可包含除了所示组件之外的组件，包焊众所周知的组件，例如处理器，存储器等。
存在用于执行对象的3D扫描的手持(或其它便携式)扫描装置。此类扫描仪可使用各种输入方法，包含红外、超声波、相机等。使用二维(2D)视频或静态相机进行扫描，针对正在扫描的对象可收集对象的图像帧并用于创建3D再现或渲染(例如点云、多边形网格、非均匀有理B样条表面模型)。渲染的质量可能受到图像帧的数目、质量或定位的限制。例如，如果所捕获图像帧不足，那么可能存在表示对象的点云中的孔或错误。
用户还可能难以使用3D手持扫描装置知道如何扫描对象(或在有效的时间量内有效地扫描对象)。因此，用户可能需要指导以最佳地扫描对象。例如，图形用户界面(GUI)可辅助引导用户扫描对象，以便减少扫描所需的时间量及/或改进对象的渲染。替代地，具有扫描仪的车辆(例如无人驾驶交通载具)可能需要命令或其它移动引导以便移动扫描仪以进行扫描。因此，用户装置可控制车辆以便在扫描期间移动扫描仪。
下面描述的是可包含图形用户界面以辅助执行对象的3D扫描的系统及方法。
图1展示用于通过扫描仪104执行对象102的3D扫描的实例系统100。例如，扫描仪104可通过捕获一组或一系列图像110来执行包含对象102的区域108的3D扫描。扫描仪104可为图像捕获装置，例如二维照相机(2D)相机、3D相机、3D传感器、深度感测相机(例如，红-绿-蓝-深度(RGB-D)相机)或配置成捕获图像110的任何其它装置。在本发明的其它方面，扫描仪104可为红外或超声发射器及传感器。一个实例扫描仪为耦合到激光发射器及红外接收器的装置相机。发射器及接收器用于确定对象特征的深度及/或距离，以补充装置相机拍摄的图像。虽然以下实例描述在扫描时捕获图像，但应理解，可发生用于扫描的各种方法(包含例如结合捕获RGB图像感测从对象反射到传感器的光或红外能量)。扫描仪104可围绕对象102移动(例如，沿着路径106)，以便捕获对象的不同视角的图像。路径106可为任何方向，且可为线性的，弯曲的，随机的，往返的，单向的，连续的，中断的等等。在其它方面中，可使用多个扫描仪来获得该组捕获图像110。
在以下描述及实例中，扫描仪104被描述为耦合到包含用于3D扫描的一或多个相机的用户装置或其部分。在本发明的一些方面中，用户装置可为无线通信装置，例如智能电话、个人数字助理(PDA)、平板、膝上型计算机等。
图2为可用于执行本发明的各方面的实例用户装置200(例如图1的用户装置)的框图。用户装置200经展示为包含处理器210、存储指令292的存储器232、耦合到相机控制器260的一或多个相机(或其它扫描仪)262，用以提供图形用户界面(GUI)290的显示器228、显示控制器226、耦合到一或多个编码器/解码器(CODEC)234的一或多个扬声器236及一或多个麦克风238，多个输入/输出(I/O)组件230，以及包括多个收发器242及基带处理器246的无线接口240，所述无线接口耦合到多个天线(ANT1到ANTn)。用户装置200可包含未展示的额外特征或组件。存储器232可为存储计算机可执行指令292的非瞬态或非暂时性计算机可读媒体以执行本发明中所描述的一或多个操作的全部或部分。装置200还可包含电源244，其可耦合到或集成到装置200中。
处理器210可为能够执行存储在存储器232内的一或多个软件程序(例如指令292)的脚本或指令的一或多个合适的处理器。在本发明的一些方面中，处理器210可为执行指令292以致使装置200执行任何数目的不同功能或操作的一或多个通用目的地处理器。在额外或替代方面中，处理器210可包含集成电路或其它硬件，以在不使用软件的情况下执行功能或操作。
对于无线接口240，收发器242可耦合到天线ANT1到ANTn。在一些方面，装置200可包含天线选择电路(为简单起见未展示)，其可选择性地将收发器242耦合到不同的天线ANT1到ANTn。收发器242可用于向其它装置发射信号及从其它装置接收信号，所述其它装置包含例如接入点、基站、其它无线通信装置等。尽管为简单起见在图2中未展示，收发器242可包含任何数目的发射链以经由天线ANT1到ANTn处理及发射信号到其它装置，且可包含任何数目的接收链以处理从天线ANT1到ANTn接收的信号。
基带处理器246可用于处理从处理器210及存储器232接收的信号，及将经处理的信号转发到收发器242以用于经由天线ANT1到ANTn中的一或多者进行传输，且可用于处理经由收发器242从天线ANT1到ANTn中的一或多者接收的信号且将经处理的信号转发到处理器210及存储器232。更具体地，基带处理器246(其可为任何合适的众所周知基带处理器)对用于经由收发器242从装置200传输的信号进行编码，且对经由收发器242从其它无线装置接收的信号进行解码。收发器242内的发射链可包含用以将信号从基带频率上变频到载波频率以便从装置200传输的混频器，且收发器242内的接收链可包含用以将所接收信号从载波频率下变频到基带频率的混频器。
I/O组件230可为或包含任何额外合适的机制、接口或装置以从用户接收输入(例如命令)并向用户提供输出。例如，I/O组件230可包含(但不限于)键盘、鼠标、遥控器、操纵杆等。相机控制器260可包含一或多个图像信号处理器(为简单起见未展示)以辅助处理来自相机262的捕获。相机控制器260可进一步包含接口电路，其经配置以接收图1的对象102的图像帧。接口电路可对应于从相机262接收所捕获图像帧，并将所捕获图像帧提供到处理器210。图像帧可用于生成对象的三维模型。相机262可包含2D相机、3D相机、3D传感器、深度感测相机(例如，RGB-D相机)，或经组态以捕获图像的任何其它装置。相机262可进一步包含红外相机、激光扫描仪、SONAR传感器等。
显示器228可包含GUI 290以辅助用户执行对象的3D扫描。在本发明的一些方面中，一或多个指令292存储在存储器232中，使得当由处理器210执行时，使得用户装置经由GUI 290与用户交互以辅助用户对对象102(图1)执行3D扫描。在一些实例实施方案中，处理器210、显示控制器226、相机控制器260、存储器232、CODEC 234及无线接口240包含在系统级封装或片上系统装置中。电源244可耦合到片上系统装置。虽然展示在图1的实例中经由处理器210彼此耦合，但处理器210、存储器232、相机控制器260、显示控制器226、I/O组件230及无线接口240可以各种布置彼此耦合。例如，处理器210、存储器232、相机控制器260、显示控制器226、I/O组件230及无线接口240可经由一或多个本地总线(为简单起见未示出)彼此耦合。
图3展示使用扫描仪104的图1的系统100的实例初始设置。虽然扫描仪104可利用各种扫描技术，仅出于解释的目的，扫描仪104将被论述为为相机，例如图2的用户装置200的相机262。在本发明的一些方面中，相机为包含显示器302(例如，触摸屏、例如图2中的显示器228)的用户以便显示GUI 304(例如图2中的GUI 290)以便辅助对象102的3D扫描。
图4到12展示用以辅助用户执行3D扫描的GUI 304的一些实例及说明。图4说明在扫描之前(例如，在初始化相机传感器之前)GUI 304的实例初始显示。在本发明的一些方面中，GUI 304通常包括用户动作按钮402、扫描仪标记404(例如，相机标记)及状态406。用户可按下用户动作按钮402以便开始或结束扫描。替代地或另外地，可使用不同的控制，例如包含滑动或按压并保持的触摸控制、语音命令、用户装置的硬件按钮等。
相机标记404可用于辅助用户将相机定向到待扫描的对象的期望点或区域。所说明相机标记404为环形，但标记404可为任何形状或标记，例如环、圆、有界正方形、x、点、环等。另外或替代地，GUI 304可向用户提供其它视觉提示(例如在远离中心时使用颜色等对屏幕进行着色)，或用户装置可提供听觉或触觉提示以便辅助用户将相机定向朝向对象。
相机传感器的中心通常可为用于捕获信息的传感器的优选部分(“最佳点”)。例如，直接指向对象的相机传感器的中心部分可具有较少的误差，且提供比相机传感器偏离中心的部分或相对于对象倾斜的3D扫描更相关的数据。因此，GUI 304可包含相机标记404，以辅助用户改进相机的定向(例如，居中)以进行3D扫描。
然而，由于例如不同的制造技术或装置技术，扫描仪或相机可能具有与其它扫描仪或相机不同的最佳点。这些差异可能为型号，装置或制造商特定的。例如，一个相机型号的最佳点可能在一个方向上稍微偏离中心。因此，为了补偿，相机标记404可为GUI304中的任何位置。
在本发明的一些方面中，状态406可向用户通知相机的当前状态(例如，扫描是否已经开始，相机是否准备开始扫描，相机是否正忙，等等)。状态406还可向用户提供辅助扫描的指示(例如“点击扫描[402]开始”，“点击扫描以停止扫描”等)。状态406可存在于任何位置及方向。另外或替代地，状态406可为非文本通知，例如，如果相机忙，那么为灰色动作按钮402，当相机准备好时为绿色闪光或指示，突出显示扫描按钮以指示用户按下什么时候准备好，等等。
图5说明在扫描之前但在相机开始捕获帧之后GUI 304的实例显示。除了用户动作按钮402、相机标记404及状态406之外，GUI 304还可包括边界框502、对象预览504及用户指导506。GUI的背景可为由图像捕获的图像或由相机进行的所捕获图像的流的近实时显示。因此，GUI 304可为增强现实，其中向用户无缝显示表示现实世界的所捕获图像及用以辅助用户扫描的计算机所生成图像的合成视图。
边界框502可对应于由用户定义且由相机扫描的所关注区域。可相对于所捕获图像中的一或多者显示边界框。用户定义的所关注区域(或由用户装置确定的)可由用户装置用来确定边界框502的尺寸及位置。边界框502可基于所捕获图像与三维模型中的对象相关联(例如，对象的二维表示)。例如，当相机相对于对象移动时，边界框可包含或对应于基于对象跟踪的所关注区域。在本发明的一些方面中，在边界框502外部显示的捕获图像被涂黑或以其它方式不显示(例如，以保留用于渲染的计算资源或将用户的注意力集中在扫描预期对象上)。
在本发明的一些方面中，边界框502可对应于三维中的立方体或其它几何区域，其对应于或包含由用户定义的所关注区域的部分(例如，体积)。随着相机继续捕获图像，用户装置可从一个图像帧到后续图像帧跟踪所关注区域或对应于所关注区域的对象。基于对象跟踪，可更新边界框。例如，在相机移动接近近或远离对象时生成三维模型期间，可基于对象跟踪来调整边界框的尺寸参数。边界框可与多个尺寸参数(例如(x,y,z)尺寸参数、中心点(x,y,z)坐标及球面半径等)相关联。特定尺寸参数可与边界框的特定尺寸(例如，长度、宽度或深度)相关联或对应。可基于在一个图像中的边界框中确定对象比在先前图像中更大或更小来调整尺寸参数的值。
在另一方面中，可基于跟踪边界框内的对象来调整边界框的位置参数的值。为了说明，基于对象相对于场景的移动或对象相对于相机的移动，对象可从捕获图像集中从图像帧移动到图像帧。可基于图像序列中的对象的相对位置来调整位置参数的值。
在本发明的一些方面中，边界框与相机标记404相关联。例如，边界框502可确保所关注区域位于由相机传感器的最佳点捕获的区域处及周围。在一些方面中，边界框502可通过此最佳点来限制绝对尺寸及/或可取决于相机的品牌、型号或技术限制。另外或替代地，边界框502可通过用户装置的处理资源来限制绝对大小。
对象预览504是使用由相机捕获的图像的对象的渲染。在本发明的一些方面中，在用户开始扫描之前捕获的图像专门用于预览504，其中用户装置仅在用户通过按下用户动作按钮402开始扫描之后才使用用于最终3D模型的图像。在其它方面中，当设置边界框502时，开始构建3D模型(例如，点云)(包含在用户按下用户动作按钮402之前)。对象预览504可由边界框502的尺寸限制，使得不显示边界框502外部的对象的部分。界定对象预览504可辅助用户根据需要定位相机。
尽管未在图5中说明，除了对象预览504之外，GUI 304还可显示对象周围的环境。有时，用户可能难以在GUI中辨别从环境或背景扫描的对象。例如，对象及边界环境之间的颜色及亮度可能导致用户辨别对象边缘的困难。如稍后参考图16A到16C所描述，用户装置200可(自动地、通过用户输入或两者的组合)确定用户可存在辨别GUI中的扫描对象的困难。在一些实例中，用户装置可增强所显示环境与对象之间的对比度以辅助用户从所显示环境中辨别所显示对象。例如，用户装置可替换背景，着色背景或以其它方式变更背景，以使得更容易辨别对象。
在本发明的一些方面中，可能需要在距对象的距离范围内执行扫描。例如，如果相机太接近对象，那么用户装置可能无法在图像帧序列中的某点处辨识对象。如果相机距离对象太远，那么相机可能无法捕获对象的足够信息以填充点云。因此，GUI 304可包含用户指导506以辅助用户将相机放置在距对象适当的距离处。另外或替代地，用户指导506可向用户提供关于相机相对于对象的优选定向及位置的指示。例如，如果相机距离待扫描的对象太远(或太靠近)，那么用户指导506可向用户指示如此。在本发明的一些方面中，用户指导506还可向用户指示例如相机是否需要保持稳定，相机的移动是否需要减慢，或其它指令。
图6说明在相机准备开始扫描时GUI 304的实例显示。如所说明，用户指导506可向用户指示相机相对于对象的定位及位置是令人满意的(例如，在距离、俯仰，偏航等的预定数目个范围内)。在本发明的一些方面中，待扫描对象为人的面部、头部及/或胸部。相机的优选定向/定位可为人的鼻子上的相机标记404，其中相机经定向以在距人优选距离处以正侧面捕获所述人。一旦用户对相对于对象的相机的位置及定向感到满意，用户就可开始扫描(例如，通过选择用户动作按钮402)。在扫描时，用户围绕对象移动相机，其中相机在不同的有利位置捕获对象的图像。
虽然未在图中说明，但可在扫描开始之后(例如在选择用户动作按钮402之后)继续使用边界框502。例如，边界框502可定义待添加点云的点的体积，因此在扫描期间用作裁剪工具。在本发明的一些方面，可忽略在边界框外部捕获的任何点。因此，可保留计算资源以处理仅关于边界框502内的体积的所捕获信息。
图7说明在扫描开始时GUI 304的实例显示。GUI 304通常包括目标标记702及扫描仪位置标记704。在本发明的一些方面，GUI 304还可包含瞄准器706、扫描对象渲染708、可视边界710及进度指示器712。
在本发明的一些方面中，目标标记702可为在扫描开始时对象的近似中心的指示。例如，如果要扫描人的头部，那么将目标标记702放置在人的鼻子附近。用户装置可检测用户的鼻子并将目标标记702放置在此位置附近。在其它方面中，目标标记放置可与相机标记404相关联。例如，目标标记702可为在用户开始扫描过程时放置在相机标记404的中心处的原点标记。因此，目标标记702可识别扫描的起始点。在一些方面中，指导用户在设置阶段期间将相机标记404与人的鼻子对准，使得在扫描开始时目标标记702将被放置在人的鼻子附近。
目标标记702可用于将相机朝向被扫描对象的中心定向。因此，当相机围绕对象移动，且定位成使得照相机标记404大致与目标标记702对准时，相机从多个有利位置朝向由目标标记702高亮显示的相同点捕获图像。在扫描人的头部的实例的情况下，围绕头部移动相机并将目标标记702(位于人的鼻子附近)与GUI 304上的相机标记404对准允许相机捕获头部的不同方面(例如脸部、侧面、耳朵、头后部、头发等)。目标标记702还可位于待扫描区域(包含对象)的边界框的中心。
因为相机在扫描期间围绕对象移动，所以可能需要调整目标标记702的位置以补偿对象的深度。例如，如果扫描人的头部，目标标记702的优选位置可为人的头部的中心，在表面之下，使得头部的表面的任何部分是由目标标记702的距离大致相等。如果对象为建筑物，那么目标标记的位置可在建筑物内，其中建筑物的每一角与目标标记大致等距。因此，用户装置可在最初放置标记时确定偏移目标标记702的深度。
在确定此偏移的一些方面中，当扫描人的头部并定位鼻子时，用户装置可计算鼻子的深度(例如，从鼻尖或鼻梁到面部的距离)。使用鼻子的深度，用户装置可估计偏移目标标记702(例如，在GUI 304中推入头部中)的深度。另外或替代地，用户装置还可估计头部的大小或周长以便估计偏移，可将深度预设为对象特定的距离(例如头部的第一距离、汽车的第二距离、桌子的第三距离等)，或偏移可为用户定义的(例如通过允许用户按压GUI 304上的目标标记702并将其拖动到所要位置及/或收缩和缩放以改变深度)。
虽然目标标记702经说明为球体(其可为任何阴影、色调、颜色(例如蓝色、白色等)等)，但标记可为任何形状或样式(例如正方形，x、框、金字塔、三角形、圆形、靶心等)。GUI的其它方面可包含在GUI上显示的笛卡尔坐标值(以指示要补偿的相机的定向中的水平及垂直漂移，以便使对象在相机场中居中)，沿着相机标记的部分的着色系统(例如绿色表示良好、黄色表示边缘，且红色表示相机的定向需要调整)，或用户处于状态406(或位于其它位置)的指导以指示用户重新定向相机。
可能存在移动及定向相机的路径，以便减少扫描对象所需的时间量。例如，人的面部、耳朵及耳朵周围区域(耳朵及鼻子从头部突出，眼睛凹陷等)的形貌通常存在比头部的后部更多的变化。因此，当扫描人的头部时，可从用户请求与头部的后部相比较在面部及耳朵的不同有利位置处的更多捕获。用于相机移动的路径可确保在比没有向用户提供路径(例如，如果用户以随机模式移动相机)的情况下在减少的时间量内获得那些额外捕获。所述路径可为一系列线性路径、弧形、圆形或其它运动。在一些方面中，路径为沿着以目标标记702为中心的可视边界710(例如，半球)映射的线性路径序列。GUI 304可通过显示扫描仪位置标记704来辅助用户跟踪路径。由用户装置确定的路径可被称作为扫描路径或用于扫描的优选路径。
在引导用户沿着优选路径移动相机以进行扫描时，扫描仪位置标记704可表示相机移动到的位置的第一航路点。例如，如果路径从当前相机位置向左行进，那么扫描仪位置标记704可经说明以辅助用户沿着此路径移动相机。在一些方面中，扫描仪位置标记704为从目标标记702向外延伸的线。然而，扫描仪位置标记704可以任何形式或形状(例如点、球体、x等)存在。当相机处于由扫描仪位置标记704指示的优选位置时，扫描仪位置标记704的至少部分及目标标记702的至少部分可在GUI中对准或叠加。
在扫描仪位置标记704为如图7中所说明的线的实例中，用户将移动相机，使得GUI显示相机大致沿着表示扫描仪位置标记704的线经定向朝向目标标记702(例如相机标记404定位在目标标记702上)，使得目标标记702的至少部分及扫描仪位置标记704的至少部分叠加在GUI中。在本发明的一些方面中，可在扫描期间更新优选路径以便进一步辅助用户(例如填充当前点云或其它渲染/模型中的孔，以补偿扫描期间的用户倾向，等等)。如稍后参考图18所描述，更新优选路径可基于关于例如当前扫描、用户的先前扫描、模型中的当前孔、模型中的孔的严重性或上述的组合的信息。另外，机器学习可用于进一步细化如何在主动扫描期间更新路径。
图8说明当相机大致沿着扫描仪位置标记704定位朝向目标标记702(例如相机标记404位于目标标记702上方)时GUI 304的实例显示。在本发明的一些方面中，GUI 304通知用户相机已成功定位，使得摄像机在扫描对象时已经沿着所要路径通过。此通知可为可听见的(例如哔哔声、响铃声、叮当声等)、视觉(例如闪光、彩色闪光、扫描仪位置标记704的移动等)及/或触觉(例如振动)。在摄像机遵循期望路径的一些方面中，一旦摄像机已成功定位到第一航路点，扫描仪位置标记704可经移动以表示第二航路点(例如通过将扫描仪位置标记704移动到新的位置，将第一位置处的扫描仪位置标记704替换为第二位置处的扫描仪位置标记704，等等)。第二航路点可用于辅助用户在扫描期间沿着所要路径(例如，沿着所要路径的第二部分)继续移动相机。
再次参考图7，GUI 304还可显示瞄准器706以辅助用户将扫描仪位置标记704与目标标记702对准，如上文所描述。在本发明的一些方面中，瞄准器706为围绕扫描仪位置标记704的开放圆柱体。用户可将相机移动到期望位置，其中GUI通过开放圆柱体的孔显示目标标记702(类似于范围，如图8中所说明)。瞄准器706可为任何形状或组的形状及定向。一些实例包含但不限于沿着扫描仪位置标记704延伸的一组环、正方形、珠子等，在扫描仪位置标记704的末端与目标标记702之间放置中间长度的环面或环，或经显示以说明扫描仪位置制作器704在GUI 304中的优选移动的围绕扫描仪位置标记704的箭头(或其它方向指示符)。
在本发明的一些方面中，GUI 304还可显示可视边界710。在所说明实例中，可视边界710为围绕目标标记702放置的半球形圆顶，且经定向成与地球的地平线大致齐平。在一些方面中，可视边界710位于目标标记702周围，使得目标标记702将为由所说明半球形圆顶构成的球体的中心及在圆顶下方的半球的镜像。
可视边界710可用作相机相对于正扫描的对象定向及定位的位置的参考。例如，如果所扫描对象渲染708不可用或未提供，那么用户可使用可视边界710来确定摄像机的方向以及摄像机与被扫描对象的距离。虽然可视边界710被说明为与地球的地平线大致齐平的半球形圆顶，但可视边界可为任何形状及定向。
可视边界的形状对于所有正扫描的对象可为相同的，或可基于例如正扫描的对象的类型或形貌，用户偏好/选择等而不同。在一些方面中，如果可视边界710被固定为与地球的地平线大致齐平的半球形圆顶，那么所显示的半球可辅助用户将相机放置在距对象的优选距离范围内，因为表面的任何点可为距目标标记702等距离。在可视边界为可变的一些实例中，如果人的头部、橙子、球，或其它圆形对象正被扫描，那么可使用半球形圆顶。如果要扫描一箱谷物或茶、计算机监视器、商业建筑物或具有大部分垂直及水平直边的其它对象，那么可使用例如立方体或盒子的形状作为可视边界。
如果形状可变化，那么用户装置可识别待扫描的对象(或对象的形貌)以便选择可视边界710的形状。例如，用户装置可使用对象识别来识别对象。如果用户装置识别出待扫描的人的头部，那么用户装置可自动选择半球形圆顶作为可视边界的形状。在其它方面中，用户可选择可视边界710的形状或选择待扫描的对象(例如，从不同对象的列表，例如人的头部、家具、雕像、建筑物，交通载具等)以便使用户装置提供适合于所述对象的可视边界的形状。替代可视边界710与地球的地平线齐平，可视边界710可基于所扫描对象的定向来定向。例如，如果人的头部相对于地球的地平线倾斜，那么GUI 304可显示半球，其中半球的顶点相对地位于人的头部的冠部上面，其中半球与人的头部类似地倾斜。在可视边界能够为任何形状的情况下，用户装置可另外或替代地使用遵循所扫描对象的轮廓的可视边界(如稍后参考图14A到图16B及图17A到图17B所描述)。
图7中所说明的GUI 304还可显示扫描对象渲染708，其可向用户说明正在创建的渲染(例如点云)的完整性。另外或替代地，扫描对象渲染708可为被扫描对象的任何表示，以便辅助用户将摄像机定位到对象(例如显示对象的图像捕获，可视边界等)。GUI 304还可显示进度指示器712。在一些方面中，进度指示器712可指示例如当前扫描的完整性、用于扫描的相机行进的优选路径的比例，经扫描及待扫描的对象的部分，等等。例如，图7中的进度指示器712可为可视边界710的俯视图，其中进度指示器712的底部部分与人的头部的前部相关联，且进度指示器712的顶部部分与人的头部的后部相关联。
当相机沿着优选路径行进时，GUI 304的用户指导(或状态)可通知用户是否存在相机的定向、移动及/或定位问题。图9说明GUI 304的实例显示，其通知用户相机经定向为远离对象。相机标记404可辅助用户相对于目标标记702定向相机。优选的相机定向可为相机标记404的至少部分且目标标记702的至少部分被叠加或对准的位置。在实例中，可通过用户指导506(或替代地通过状态406或通过其它手段)通知用户相机标记404及目标标记702没有叠加或对准。在一些实例实施方案中，如果相机标记404的任何部分及目标标记702的任何部分没有在GUI中叠加或对准，那么通知用户。在进一步实例实施方案中，如果相机标记404及目标标记702的小于预定部分被叠加或对准，则可通知用户。另外或替代地，GUI304可通知用户例如相机是否移动得太快，移动中是否存在太多抖动，相机未正确地到达扫描仪位置标记所识别的位置，等等。如果相机距离对象太近或太远以进行扫描，那么GUI304还可通过用户指导506及/或状态406通知用户。在本发明的一些方面中，可视边界710可闪烁或瞬间消失并重新出现以获得用户的注意力，即需要校正相机的位置或定向。因此，GUI 304可辅助用户在围绕对象移动相机的同时保持相机的定向及定位(例如沿着用于扫描的优选路径)。
图10说明当相机相对于扫描仪位置标记704从第一位置到第二位置的移动(例如，对准GUI 304中的扫描仪位置标记704、相机标记404及目标标记702)时GUI 304的实例显示。例如，相机在开始扫描时从开始位置移动到第一航路点(图8中未说明)，且然后沿着用于在扫描对象中移动相机的优选路径朝向第二航路点(图10中说明)。进度指示器712的阴影部分说明已经扫描的对象的部分，其中无阴影部分说明待扫描的对象的部分。图11说明当相机大约沿着第二航路点的扫描仪位置标记704朝向目标标记702定位时GUI 304的实例显示。如在比较图10的进度指示器712的实例与图11中的进度指示器712的实例中可观察到的，阴影部分随着对象的更多部分被扫描及/或相机沿着用于扫描对象的优选路径前进而增长。
图12说明当扫描对象完成一半时GUI 304的实例显示。在所述实例中，进度指示器712的阴影部分指示已经扫描人的头部的左侧。因此，GUI 304可辅助用户移动相机以扫描人的头部的右侧(例如，引导用户沿着优选路径的剩余部分移动相机)。
图13为描绘用以辅助用户对对象执行3D扫描的GUI的实例操作1300的说明性流程图。在扫描期间(例如，在用户按压图6中的GUI 304的用户动作按钮402时)，GUI显示与正扫描的对象相关联的目标标记(1302)。例如，图7中的GUI 304显示对象102(图3)的目标标记702。在图13的1304中，GUI可任选地显示扫描仪标记以辅助用户将扫描仪定位朝向对象。例如，图7中的GUI 304显示相机标记404以辅助用户定位相机，使得相机标记404覆盖GUI 304中的目标标记702。
在1306中，GUI可任选地显示可视边界710(例如图7的半球形圆顶)，以例如辅助用户在扫描时确定扫描仪相对于对象的位置。如先前所描述，可视边界可辅助用户防止扫描仪漂移太远或太靠近对象(或还帮助用户将扫描仪保持在正扫描的对象的中心，同时围绕对象在任何方向上移动相机对象)。
GUI还在图13的1308处显示扫描仪位置标记(例如，在第一位置或航路点处)。如先前所描述，扫描仪位置标记可辅助用户沿着优选路径移动扫描仪及/或移动扫描仪到优选位置及定向。在1310中，GUI可任选地显示与扫描仪位置标记相关联的瞄准器。如先前所描述，瞄准器可为围绕扫描仪位置标记的开放圆柱体(例如，瞄准器706可为围绕图7中位置标记704的开放圆柱体)，使得用户可定向扫描仪以便在GUI中看到目标标记通过开放圆柱的孔。
进行到1312，用户装置确定用户是否已移动扫描仪，使得目标标记与扫描仪位置标记在GUI中对准。如果其未对准，那么GUI继续显示扫描仪位置标记(例如，在第一位置)，直到目标标记及扫描仪位置标记在GUI上对准。如果目标标记及扫描仪位置标记在GUI中对准(1312)，那么处理流程到1314。
在1314中，用户装置可确定扫描是否“完成”。如果例如用户通过按下用户动作按钮结束扫描，那么扫描可能完成，扫描仪位置标记不存在更多位置或航路点，扫描仪已完全遍历优选路径(例如不再存在航路点))，用户装置已收集足够的信息用于渲染，已经达到最大扫描时间，用户装置的存储空间已满，以便防止更多信息捕获，等等。如果扫描完成，那么扫描在1316处停止。
如果扫描未完成，那么所述过程在1318处继续。在本发明的一些方面中，如果扫描仪正沿着优选路径移动以进行扫描(例如，扫描仪位置标记表示沿着路径的航路点)或扫描仪移动到对象的特定有利位置时，用户装置可确定路径没有被完全遍历或扫描仪没有到达所有有利位置。另外或替代地，孔可存在于点云或对象的其它渲染中，使得需要额外的扫描。因此，在1318中，GUI调整扫描仪位置标记的位置(例如，将扫描仪位置标记从第一位置移动到相对于对象的第二位置)。然后，GUI在新位置处显示扫描仪位置标记(回复到图13中的1308)，以便辅助用户在扫描对象期间例如沿着优选路径移动扫描仪或移动到另一有利位置。
返回参考GUI 304中所显示的可视边界710(例如在图7中)，可视边界可遵循待扫描的对象的轮廓。图14A说明显示待扫描的对象的GUI 1402的实例显示。在所述实例中待扫描的对象为汽车，且更具体地，为跑车，且更具体地，为双门小轿车。在一些实例中(如下面参考图17A及图17B所描述)，用户装置检测对象以便选择要用于对象的可视边界。检测可为任何保真度(例如汽车、轿车、跑车、双门小轿车、汽车的特定品牌及型号等)且可使用对象的任何特征进行检测(例如，在汽车的实例中，型号年份、区别特征、类似图像等)。例如，用户装置可将图像与其它人拍摄的类似图像匹配，以便确定当前待扫描的对象。在确定待扫描的对象之后，用户装置可从多个可视边界中选择一者用于扫描对象。
替代地，用户可从多个可视边界中选择可视边界。在其它实例中，用户可提供关于待扫描的对象的信息(例如对象为具有两个门且看起来为运动模型的轿车)以辅助用户装置缩小对象的可能可视边界的数目以进行扫描。在其它实例中，GUI可基于对象显示可视边界(或可视边界的选择)，使得用户可验证选择为正确的(或从用户装置提供的选择中挑选可视边界)。在其它实例中，用户装置可确定对象的轮廓及边缘，以便生成对象的定制可视边界。类似地，用户装置可请求来自用户的应使用定制可视边界的确认。
图14B说明GUI 1402的实例显示，其显示图14A中的对象的可视边界1404。如所说明，可视边界1404遵循对象的轮廓以进行扫描。在一些实例实施方案中，存储的可视边界可为针对待扫描的特定对象变形或模制的对象的通用边界。在变形或模制可视边界时，用户装置可例如旋转及倾斜可视边界，使得定向与待扫描的对象的当前定向匹配。另外，用户装置可拉伸可视边界，扩展可视边界，收缩可视边界，模制可视边界的部分以匹配待扫描对象的轮廓，移除可视边界的部分，添加到可视边界，组合多个可视边界(例如，如果待扫描的对象为两个单独对象的组合)，等等。例如，汽车的通用边界可包含用于四个车轮的轮廓，包括车门、机罩、后备箱及四个轮舱的基本车身，以及包括车窗及车顶的顶部部分。用户装置可伸展(或收缩)车轮轮廓以匹配车轮尺寸。车轮轮廓也可具有轮廓以勾勒出汽车的轮辋或轮毂盖。用户装置还可拉伸发动及罩以对应于待扫描的汽车的机罩长度。另外，可视边界的机罩可经模制以遵循待扫描的汽车的机罩的轮廓。对于基体的其它方面以及包括车窗及车顶的顶部部分也可进行同样操作。
在确定待扫描的对象的可视边界时，用户装置(通过对象辨识、用户选择或两者的组合)可确定待扫描多个对象。图15A说明显示待扫描的多个对象的GUI 1502的实例显示。在识别待扫描的对象时，用户装置可确定正在显示待扫描的多个对象。例如，用户装置确定正在显示类似类型的多个对象(例如如图15A中所说明的多件户外家具)。类似于确定可视边界，可使用对象的任何特征来确定是否存在多个用于扫描的对象。例如，用户装置可使用图15A中所显示的家具中的座垫的图案以确定家具来自一个家具套装(且因此可能存在多个对象用于扫描)。另外或替代地，用户装置可将多个椅子及长凳识别为套装的部分(例如来自座垫上的图案)且确定桌子通常伴随此套装。因此，所识别的桌子(如图15A中所说明)可包含为待扫描的对象。
图15B说明GUI 1502的实例显示，其显示图15A中显示的多个对象的可视边界1504A到F。类似于图14B，可视边界遵循待扫描对象的轮廓。如果待扫描多个对象，那么用户装置可引导用户一次扫描一个对象。例如，用户装置可引导用户使用一系列优选路径扫描对象，其中优选路径对应于正扫描的对象中的一者。替代地，用户装置可引导用户同时扫描多于一个对象。因此，优选路径可用于一次扫描多于一个对象。例如，两个靠近的对象均可从一侧扫描，且然后从另一侧扫描，而不是引导用户前进并扫描一个对象的每一侧，然后重复下一个对象。可能需要额外的计算资源来同时扫描多个模型而不是顺序扫描对象，但同时扫描多个对象可减少扫描所有对象所需的总时间。
用户装置还可调整GUI正在显示的内容，以辅助用户查看渲染以及渲染中是否存在任何孔(以及孔的严重性)。在一些实例中，如果对象离扫描仪比扫描典型的更远，那么GUI可聚焦在正扫描对象上(例如在对象上放大)。图15C说明显示可视边界1504A到F的GUI1502的实例显示，其中待扫描与可视边界1504D相关联的对象。在一些实例方面中，用户装置使用边界框1506来裁剪显示器，以使得可仅显示边界框中的对象(例如与可视边界1504D相关联的脚凳)。边界框1506还可用于将渲染裁剪为在指定体积或区域内捕获的信息(其可保留计算资源)。用户装置可使用任何信息来确定如何在边界框1506内裁剪及预览图像，以及如何定位及确定边界框1506的大小。例如，显示器的分辨率、显示器的大小、用户装置的处理能力、待扫描对象的类型、对象距扫描仪的距离、对象的细节数目(例如华丽的雕刻、铭文等)，扫描时的用户倾向(例如用户辨识用于先前扫描的孔的程度)，等等可由用户装置用来确定用于扫描对象的边界框1506的尺寸及位置。
在创建边界框1506时，GUI可在边界框1506上放大(例如屏幕上的预定义大小，超出边界框的阈值大小，等等)。图15D说明显示边界框1506的缩放视图的GUI 1502的实例显示，以便辅助用户扫描与可视边界1504D相关联的对象。在用于裁剪扫描仪所捕获的内容的边界框的实例中，正渲染的点云可仅包含边界框1506内的区域的点，或GUI1502可仅显示边界框1506中的内容的渲染。因此，用户可能能够更容易地识别与可视边界1504D相关联的对象的渲染中的孔，因为孔将在GUI 1502中比在GUI不展示渲染的缩放视图(例如在图15C中)的情况下更大。替代地，GUI可指示用户将扫描仪移动得更靠近对象(例如，通过请求用户将图15C中的边界框1506装配到图15D中的边界框1506的大致大小及位置)。
图16A说明用于待扫描的另一对象的GUI 1602的实例显示。在所述实例中，待扫描特大号床。如类似针对图14A及图15A所描述，可视边界可遵循对象的轮廓上。图16B说明GUI1602的实例显示，其显示图16A中的对象的实例可视边界1604。
返回参考图16A，对象的部分可能难以与背景或环境辨别或区别开。阴影、低照明或其它条件可能导致用户难以确定所显示图像中的对象的边界。例如，图16A中的床的脚板与床下面的地板融合，以使得其难以辨别床的边缘。
在一些实例中，GUI 1602可在正扫描的对象(例如图16A中的床)上覆盖可视边界(例如可视边界1604)以辅助用户识别对象的边缘。另外或替代地，用户装置可变更在GUI1602上显示的图像，以便更好地区分对象与背景。例如，可调整所显示图像的亮度、对比度及/或其它特征。在另一实例中，所显示的背景可用均匀的颜色(例如黑色或白色)代替。为此，用户装置可例如使用可视边界来裁剪背景或环境，使得其可在GUI 1602上的显示图像中被替换。图16C说明GUI 1602的实例显示，其中正扫描对象的背景被均匀的白色背景替换。在比较图16A到图16C中，床(包含脚板)的边缘在图16C中比在图16A中更容易辨别。能够更好地识别GUI 1602中的对象的边缘可允许用户在扫描期间更好地将扫描仪聚焦或指向朝向对象。
如先前关于图15C及图15D所描述，GUI可显示缩放视图以辅助用户更好地识别渲染中的孔及孔的严重性。在本发明的一些方面中，GUI可能够以不同缩放级别显示对象、渲染、可视边界等，使得GUI显示与待扫描的对象不同的用户感知距离。另外，辅助用户执行扫描的GUI可包含在不同的缩放级别之间移动以辅助用户识别待扫描的对象的部分或要填充的渲染中的孔。例如，用户装置可引导用户沿着最低缩放级别的优选路径移动扫描仪(用户感知的缩放级别以将对象放置得最远)。然后，用户装置可引导用户在增加缩放级别的扫描中沿着优选路径移动扫描仪。因此，当GUI以最低缩放级别显示时的扫描可用于一般渲染，其中捕获对象的较大特征，但可能尚未完全捕获对象的较小细节。缩放可为光学的、数字的或两者的组合。另外，缩放级别可为任何值，且不限于均匀增量(例如，1X、1.2X、2X、3.5X等)。缩放级别也可为用户定义的及/或滑动缩放而不是缩放级别的步进功能。
例如，返回参考图16B及图16C，GUI 1602以最低缩放级别(例如，1X)显示对象或可视边界。以最低缩放级别扫描床可创建床的渲染，包含一般特征(例如具有支腿的床、脚板的一般形状、床头板的一般形状、被子或羽绒被的定位，两个枕头的存在及定位，等等)。然而，在一个实例中，渲染可能不包含关于支腿、脚板或床头板中的雕刻、被子或羽绒被中的图案或起伏、织物中的折痕及皱纹，枕头的形貌特征及设计等的细节。对于图16C中的实例对象，渲染可能不包括两个枕头在床上相遇的位置的足够信息。因此，GUI可放大到床上两个枕头相遇的位置，以便辅助用户移动扫描仪以获得此信息。
当以不同的缩放级别显示对象(或渲染)的部分时，GUI可包含在较高缩放级别视图内显示整体对象、渲染或可视边界(或可选地，最低缩放级别视图)的窗口或预览。因此，窗口可通过GUI向用户提供关于对象的哪一部分与当前图像相关的透视图。图16D说明GUI1602的实例显示，其以比图16B中更高的缩放级别显示可视边界。返回参考更详细地扫描枕头在床上相遇的位置的实例，用户装置可显示更高的缩放级别视图以展示两个枕头相遇的床的部分。GUI 1602可显示窗口1606以向用户展示GUI当前正在显示对象的哪一部分(例如1608识别以更高缩放级别显示的区域)。GUI 1602展示目标标记、位置标记及用于辅助用户移动扫描仪的瞄准器。然而，可显示任何适当的对象，或可使用处理来辅助用户进行扫描，同时GUI以更高的缩放级别说明。图16E显示GUI 1602的实例显示，其以更高的缩放级别显示对象(或对象的渲染)，与图16D中以更高缩放级别显示的可视边界相对应。
在用户装置可调整用于扫描的优选路径(例如，调整航路点的数目，航路点的顺序等)的一些实例中，用户装置可调整GUI的时间及频率以在扫描期间改变缩放级别。另外或替代地，当用户装置由于当前渲染中的孔而更新优选路径时，GUI可提供扫描路径正被更新的视觉通知。例如，可增加缩放级别以辅助用户识别需要进一步扫描的位置，以使得用户理解为什么更新优选路径以回溯已扫描的对象的部分。
虽然窗口1606被说明为显示图16D及图16E中的可视边界，但窗口可展示对象的任何表示，例如对象的当前视图、对象的先前扫描捕获、对象的当前渲染，等等。另外，当窗口1606出现在GUI 1602的右下角时，窗口1606可位于GUI 1602内的任何位置(且可为任何尺寸)。此外，用户可通过触摸及拖曳窗口到新位置来移动窗口1606，或通过在触摸窗口1606的同时收缩或延伸用户的手指来重新定窗口1606的大小。另外，可允许用户改变窗口1606的显示设置，例如循环遍及对象的视图、当前渲染、可视边界或其组合。GUI还可经配置以允许用户使用当前显示切换窗口1606显示(例如通过双击窗口1606，使得在窗口1606内显示更高的缩放级别，同时在GUI 1602的剩余窗口内显示更低的缩放级别)。
在其它方面，GUI 1602可允许用户确定GUI 1602要显示什么缩放级别。例如，用户可能想要验证当前扫描是否充分捕获对象的部分。因此，当GUI 1602以第一缩放级别(例如最低缩放级别)显示渲染时，用户可选择渲染的部分以按更高缩放级别(例如通过双击、收缩等)来查看。因此，窗口1606可显示先前视图，而GUI 1602显示期望位置的较高缩放级别。因此，用户可能够以更高的缩放级别查看渲染的部分以验证对对象的对应部分的扫描完成。
如在图14A到16E的实例中所说明，及如先前所描述，可视边界可遵循正扫描对象的轮廓。在一些实例中，用户装置可通过识别待扫描的对象并生成可视边界来确定可视边界。在生成可视边界时，用户装置可选择与对象相关联的预定义可视边界(例如椅子的通用椅子可视边界，不同车辆的通用汽车可视边界等)且将预定义可视边界调整为坚持待扫描的特定对象的轮廓。
图17A为描绘用户装置生成待扫描对象的可视边界的实例操作1700的说明性流程图。在1702处开始，用户装置可识别待扫描的对象。在一些方面中，用户输入关于对象的信息(例如对象的类型、对象的一般形状等)。在进一步方面中，用户装置可使用对象辨识来识别对象(或对象的一般形状)。进行到1704，用户装置确定将可视边界用于所识别对象。例如，用户装置可已存储(或存取存储的数据库)多个不同可视边界，其中每一可视边界对应于对象类型。作为用于确定可视边界的选项，用户装置可搜索所存储可视边界以使所识别对象与和所存储可视边界中的一者相关联的对象的类型匹配(1706)。在另一选项中，用户装置可通过确定对象的边缘及轮廓并使用此类边缘及轮廓创建可视边界来生成新的可视边界。替代地，如果用户装置在1706中将所识别的对象与对象类型不匹配，那么用户装置还可生成新的可视边界。作为1702到1706的替代方案，用户可选择所存储的预先存在的可视边界以用于对象。在又一替代方案中，用户可在GUI上绘制可视边界。
利用1704中由用户装置确定的可视边界，用户装置可在1708中检索可视边界。在检索可视边界时，用户装置可调整用于所识别对象的所检索可视边界(1710)。实例调整包含重新定可视边界的大小，拉伸或收缩可视边界的部分，向可视边界的部分添加轮廓及起伏，移除可视边界的部分，调整可视边界的定向等。例如，如果所识别的对象为图14A中的GUI 1402所说明的汽车，且所检索到的可视边界为通用汽车的边界(不管汽车的品牌及型号，年份等)，用户装置可扩展所检索的可视边界的轮舱部分(因为轮胎为更大的赛车轮胎通常用于汽车)，移除与后门相关联的可视边界的部分(因为汽车为双门小轿车)，平滑可视边界的轮廓(因为汽车比例如4门轿车更具空气动力学性能)，等等。在检索可视边界时，用户装置可在GUI上显示可视边界(1712)。然后，用户装置可使用可视边界来引导用户沿着优选路径移动扫描仪以进行扫描。
图17B为描绘用户装置确定待扫描对象的可视边界的另一实例操作1750的说明性流程图。利用用户装置存储一或多个可视边界(其可对应于某些类型的对象)，用户装置可在扫描不同类型的对象时更新所存储可视边界的目录。在1752处开始，用户装置可检测待扫描的对象。在一些实例实施方案中，用户装置可确定在GUI上由目标标记居中的对象的边界。另外或替代地，用户装置可使用机器学习来确定通常由用户或用户装置扫描的对象的类型，并尝试检测这种类型的对象以进行扫描。
一旦用户装置检测到待扫描的对象(1752)，用户装置就可尝试辨识待扫描的对象(1754)。在辨识所检测到的对象时，用户装置可尝试辨识对象的类型(例如汽车、卡车、人、头、椅等)。在一些实例实施方案中，用户装置可在先前扫描上使用机器学习以便确定不同类型的对象的特征。因此，用户装置可将待扫描的对象的特性与先前扫描的对象的确定的特征进行比较。此外，可向用户装置提供不同类型的对象的特性，以用于尝试辨识待扫描的对象。另外，对象的类型可以任何粒度级别(例如从汽车，个人车辆或商用车辆，到汽车、货车或卡车等)分离。
例如，用户装置可将对象辨识为汽车，但用户装置将进一步辨识汽车为货车、卡车还是汽车(例如当用户装置包含用于厢式货车、用于卡车及用于汽车的不同可视边界时)。因此，用户装置可尝试确定汽车后部相对于汽车其余部分的尺寸。如果汽车的拖斗延伸并加高，那么用户装置可将对象辨识为厢式货车。如果汽车的拖斗延伸但没有比汽车的驾驶室更高或更短，那么用户装置可将对象辨识为卡车。如果汽车的后部既没有伸展也没有相对于汽车前部改变高度，那么用户装置可将对象辨识为汽车。虽然一些实例提供识别待扫描的对象，但是可使用对象识别的任何过程(例如用户可选菜单等)。因此，本发明不应限于所提供实例。
再次参考图17B，如果对象经辨识(1756)，那么用户装置可尝试找到对象的对应可视边界。在一些实例实施方案中，用户装置可尝试找到存储在用户装置上的对应可视边界。在一些另外的实例实施方案中，用户装置可存取数据库或可视边界的其它远程存储库以尝试找到对应的可视边界。如果所辨识对象对应于所存储可视边界(1758)，那么用户装置可检索对应的可视边界(1760)。在检索可视边界时，用户装置可任选地调整用于待扫描的对象的可视边界(1762)。例如，用户装置可定向可视边界，拉伸或修改可视边界的轮廓，等等。然后，用户装置可显示可视边界以开始引导用户执行对象的扫描(1764)。
如果用户装置未辨识所检测到的对象(1756)或用户装置未识别对应于所辨识对象的可视边界(1758)，那么用户装置可显示待用于扫描的通用可视边界(1766)。例如，如果通用可视边界为圆顶(例如图7到图12中所说明的可视边界)，那么用户装置可在GUI上将圆顶的大小调整为所检测到的对象的大小并将圆顶放置在对象上。因此，用户装置使用圆顶执行对象的扫描。
当从使用通用可视边界执行的扫描为对象创建或渲染模型时，用户装置可使用新创建模型确定是否为所检测对象类型创建定制可视边界(1768)。例如，可询问用户是否创建及存储定制圆顶。在另一实例中，用户装置可在没有相应的可视边界的情况下重复扫描正扫描的对象的类型，且从而确定针对对象类型创建新的可视边界。如果用户装置不创建定制可视边界，那么该过程以使用通用可视边界完成的扫描结束。如果用户装置要创建定制可视边界(例如用户选择创建定制可视边界)，那么用户装置可使用从扫描创建的模型来创建定制可视边界(1770)。在一些实例实施方案中，用户装置可平滑轮廓或扩展所创建的模型的副本以便创建定制可视边界。一旦创建了定制可视边界，用户装置可存储边界以供稍后使用(1772)。例如，用户装置可将定制可视边界存储在本地存储器中，或用户装置可将定制可视边界提供到远程存储库以进行存储。
返回参考1764，一旦扫描完成，用户装置可确定是否更新最近使用的可视边界。在一些实例实施方案中，用户装置可使用机器学习来确定对可视边界的改进。例如，用户装置可观察到每次针对对象类型调整可视边界时执行相同的轮廓化。因此，用户装置可调整可视边界以供将来使用。替代地，用户装置可为对象类型中的对象子集创建额外可视边界，从而增加辨识对象的粒度。
在本发明的一些方面中，优选路径(例如航路点或有利位置的数目)可为静态的。因此，一旦扫描仪穿过路径(或扫描仪到达所有有利位置)，扫描就完成了。在本发明的其它方面中，优选路径在扫描期间可为动态的。因此，用户装置可确定在扫描期间要对优选路径进行调整。
例如，如果用户沿着路径移动扫描仪太快，使得没有足够的捕获信息来填充点云中的一些孔，或如果信息的质量因例如通过用户摇晃扫描仪、引导扫描仪离对象的中心过远等而降低，用户装置可确定GUI应沿着路径显示一系列更多的航路点，不同的航路点偏离路径，及/或不同或更多优势，以便扫描填充点云中的任何孔。在一些方面中，用户装置可确定点云中的孔的相对位置及孔的严重性，以便确定新的或变更的路径，沿着所述路径引导用户移动扫描仪以减少填充那些孔所需的时间量。在其它方面中，用户装置可在用户操作扫描仪期间使用机器学习来确定特定于用户对扫描仪的操作的变更路径或有利位置的顺序。例如，如果用户与向上及向下相比更好地左右移动扫描仪，那么与相对于正扫描的对象的相机的垂直移动相比，用户装置可变更路径以包含相机的更多水平移动。在一些实例性实施方案中，调整有利位置的路径或顺序包括在扫描期间调整航路点。例如，用户装置可观察正执行的扫描，并基于当前扫描调整航路点的数目及/或航路点的位置。下面在论述图18到图20时描述用户装置学习及调整航路点。另外或可选地，如先前所描述的，用户装置可更新在GUI在扫描期间改变缩放级别的情况下何时以及如何频繁改变缩放级别。
图18为描绘用户装置在辅助扫描时更新用于移动扫描仪的优选路径的实例操作1800的说明性流程图。在1802处开始，用户装置引导用户沿着优选路径扫描对象。例如，GUI可指示用户移动扫描仪，使得GUI上显示的扫描仪位置标记及目标标记对准，使用户前进以沿着优选路径的多个航路点移动扫描仪。
在引导用户沿着优选路径扫描对象时，用户装置可观察正执行的扫描并确定是否调整优选路径。确定更新或调整优选路径可基于多个因素中的一或多者。如先前所描述，这些因素可包含括用户扫描的能力(例如来自用户的先前扫描或关于当前扫描的信息)，当前扫描或渲染中存在孔，当前扫描或渲染中的孔的严重性，孔的相对位置，等等。如果更新优选路径可至少部分地基于用户执行扫描的能力，那么用户装置可任选地确定此能力(1804)。例如，用户装置可确定用户是否具有使扫描仪移动足够慢以沿着优选路径进行充分扫描的困难时间。在另一实例中，用户装置可确定用户是否摇晃扫描仪(例如紧张或握手)以便影响扫描。在又一实例中，用户装置可确定用户的扫描趋势(例如，扫描仪被引导使得目标标记始终略微偏离中心)。在又一实例中，如果用户具有执行扫描的困难，那么用户可提供反馈(例如通过GUI)。如果对象的部分在扫描期间需要更多焦点(例如用于雕刻、铭文、人的面部特征等)，那么用户还可提供反馈。在另一实例中，用户装置可确定扫描仪是否偏离优选路径(例如阈值距离，阈值时间量或两者的组合)以确定是否要更新优选路径以放置扫描仪返回优选路径。
图19为描绘在扫描期间航路点1902A到1902E之间的实例性扫描仪移动1904A到1904D的说明。在一些实例实施方案中，用户装置在扫描期间了解用户的倾向或习惯，以确定用于在扫描期间引导用户的航路点1902A到1902H的初始数目及位置。例如，如果用户在移动扫描仪时包含不良习惯(例如摇晃，不一致的移动等)，那么用户装置可从先前的扫描中学习以包含更多数目的航路点。如果用户在移动扫描仪时具有良好的习惯(例如在航路点之间的稳定及一致的移动)，那么用户装置可从先前的扫描中学习以减少航路点的数目。
如图19中所说明，当在航路点之间移动时，扫描仪朝向及远离对象102移动。例如，当扫描仪在航路点1902A与航路点1902B之间移动时，扫描仪移动远离对象102(如由移动1904A所指示)。当扫描仪在航路点1902B与航路点1902C之间移动时，扫描仪移动远离对象102(如由移动1904B所指示)。扫描仪在移动1904C期间再次远离对象102移动且在移动1904D期间朝向对象102移动。用户装置可观察扫描仪移动1904A到1904D并确定应更新优选扫描路径(例如通过更新剩余航路点1902F到1902H的数目及/或位置)。
返回参考图18，如果更新优选路径至少部分地基于由当前扫描生成的模型的孔或缺失部分，那么用户装置可任选地确定此类孔(1806)。例如，如果渲染为点云，那么用户装置可确定点云的任何部分中是否存在点的缺失。另外或替代地，用户装置可确定点云的一些区域中的点的密度是否小于点云的其它区域中的点的密度(或低于参考密度)。在确定当前扫描中的孔(1806)时，用户装置可任选地确定孔的严重性(1808)。例如，用户装置在确定点云的区域中的点的密度时，可确定所述区域与点云的另一区域的点的密度(或参考密度)之间的差异。在另一实例中，用户装置可以确定孔的大小(例如点云中没有点的区域的大小或点的密度小于的区域的大小，例如参考密度)。
另外或替代地，在确定当前扫描中的孔(1806)时，用户装置可任选地确定孔相对于彼此的位置(1810)。用户装置可使用孔的位置来确定是否使用优选路径充分扫描对象的特定部分。例如，如果照明来自朝向正扫描对象的一个方向，那么对象的部分可能未被充分照亮，使得扫描仪使用优选路径根据需要收集点云模型的许多点。因此，多个孔可在对象的距光源的远侧上彼此靠近地定位。
使用所确定的信息(例如来自进程1804到1810)，用户装置可确定是否应在1812中更新优选路径。如果用户装置确定在1812中不更新优选路径，那么用户装置继续引导用户使用当前优选路径扫描对象(恢复到1802)。如果用户装置在1812中确定待更新优选路径，那么用户装置在1814中更新优选路径并引导用户使用经调整的优选路径扫描对象(回到1802)。用户装置可确定是否以任何频率或周期更新优选路径。在一些实例中，用户装置可不会更新优选路径，直到达到错误阈值(例如，如果存在阈值数目个孔，那么孔的严重性达到阈值，当前渲染低于某一点沿着优选路径的信息的阈值，等等)。另外或替代地，用户可请求用户装置确定是否应更新优选路径(例如，通过按下GUI上的按钮，保持扫描仪静止预定时间量，等等)。
返回参考1814(且如先前所述)，用户装置可以各种方式更新优选路径。在一个方面中，用户装置可任选地更新(1816)。例如，如果用户装置确定用户在航路点之间过快地移动扫描仪，那么用户装置可在现有航路点之间包含额外的航路点以试图减慢扫描仪的移动。在另一实例中，如果用户装置确定用户正在执行详细扫描，使得可加速扫描而不影响渲染，那么用户装置可移除一些航路点以尝试加速扫描。在又一实例中，用户装置可随待填充的孔增加渲染中的位置处的航路点的数目。
机器学习可用于在扫描期间自动增加或减少航路点的数目及/或更新剩余航路点的位置。在本发明的一些方面中，用户装置可从先前扫描中获知用户的扫描习惯。因此，可基于用户的扫描习惯来确定航路点的初始数目。例如，装置可了解先前扫描包含大量的孔(例如，由于不稳定的扫描仪移动)。因此，装置可确定设置航路点的初始数目以辅助用户以比扫描对象的典型数目更高的数目进行扫描。下面结合图20到图23描述更新航路点并使用机器学习来更新辅助用户执行扫描的航路点。
在更新航路点的数目(1816)时，用户装置可增加航路点的数目以改进扫描质量。例如，扫描仪移动1904A到1904D(图19)说明扫描仪在航路点之间朝向及远离对象102摆动。因此，为了防止此摆动运动，用户装置可确定增加航路点的数目。图20为描绘基于图19中所说明的扫描仪移动来增加扫描期间的航路点的数目的说明。在扫描仪位于航路点1902E附近的情况下，用户装置可决定包含额外航路点2002A到2002D以及其余航路点1902F到1902H。扫描仪可在航路点之间行进的距离减小可改进扫描仪的移动以因此提高扫描质量。因此，用户装置可沿着从航路点1902E到航路点2002A，到航路点1902F到航路点2002B等的更新的优选路径引导扫描。增加航路点的数目的量可基于任何数目的因素。在一些实例实施方案中，用户装置可确定当前扫描的质量的不同级别或阈值。例如，用户装置可观察先前扫描仪移动中存在的任何孔。然后可使用孔的大小及频率来确定扫描的质量。然后可使用扫描质量来确定要包含的航路点的数目。因此，更差的扫描质量可能导致添加更多的航路点。
对于增加航路点数目的计数器，如果扫描质量高于阈值，那么用户装置可减少航路点的数目。因此，扫描可在较短的时间量内完成，其中扫描质量仍然可接受。图21为描绘与图19中所说明的实例不同的扫描仪移动2104A到2104D的说明。用户装置可确定航路点1902A到1902E之间的扫描仪运动2104A到2104D迄今提供足够质量的扫描使得剩余航路点1902F到1902H的数目在扫描过程中可能会减少。减少航路点数目的量可基于任何数目个因素。类似于确定要为不良扫描质量添加的航路点的数目，用户装置可确定当前扫描的质量的不同级别或阈值。然后可使用孔的大小及频率来确定扫描的质量。然后可使用扫描的质量来确定要移除的航路点的数目。因此，较佳的扫描质量可能导致更大数目的航路点被移除。虽然描述了确定待移除或添加的航路点的数目的一个实例，但可使用任何过程来确定待移除或添加的航路点的数目。因此，本发明不应限于所述实例。
返回参考图21，基于观察扫描仪移动2104A到2104D，用户装置可确定移除航路点1902F及1902H，从而留下剩余的航路点1902G以用于引导扫描仪。因此，用户装置可引导用户将扫描仪从航路点1902E移动到航路点1902G且返回航路点1902A以完成扫描。如先前所述，用户装置可确定是否以任何频率或周期更新优选路径。在一些实例实施方案中，用户装置可在扫描期间确定多次更新航路点的数目。
图22A为描绘在图20中所说明的实例中的航路点1902E、2002A、1902F及2002B之间的进一步扫描仪移动2204A到2204C的说明。用户装置可继续观察扫描仪运动，从而观察沿着先前经调整扫描路径的扫描仪运动2204A到2204C。用户装置可确定扫描质量正在充足地改进，或扫描仪移动正在充足地改进(例如从图19中的扫描仪移动1904A到1904D到图22A中的扫描仪移动2204A到2204C)，以减少扫描期间的航路点的剩余数目。同样，用户装置可使用阈值来确定是否再次调整航路点的数目。在图22A中所说明的实例中，用户装置可确定移除航路点1902G及1902H，使航路点2002C及2002D用于沿着经重新调整的路径引导扫描仪。
随着时间，用户装置还可调整用于确定调整航路点数目的时间及量的阈值、水平或其它过程。在一些实例实施方案中，可检查多个扫描及扫描模型以确定用户装置是否应更频繁地调整航路点的数目。例如，如果模型在相应扫描期间减少航路点的数目之后始终显示孔，那么用户装置可在移除航路点之前确定增加所需的扫描质量。
返回参考图18，在更新优选路径(1814)的另一方面中，用户装置可更新航路点的序列及/或位置(1818)。例如，如果在扫描期间对用户来说垂直移动扫描仪不如水平(相对于地平线)移动扫描仪有效(例如由于漂移，摇晃等)，那么用户装置可更新航路点的序列使得用户沿着优选路径更加水平且更不垂直地移动扫描仪。在另一实例中，如与对象距光源的近侧相比，如果在对象距光源的远侧上的渲染中存在孔，那么用户装置可更新航路点的位置以集中对对象的远侧的扫描。在另一实例中，如果多个孔彼此相对靠近地定位，那么用户装置可更新航路点的序列及位置，以引导用户有效地将扫描仪引导到与渲染中的孔相关联的对象的区域中。
图22B为描绘在图22A中所说明的实例中调整剩余航路点2002C及2002D的位置的说明。在一些实例实施方案中，用户装置可调整剩余航路点的位置，以便沿着优选路径的剩余部分均匀地分散航路点。另外或替代地，用户装置可学习或确定放置剩余航路点的位置以便提高扫描质量。例如，如果对象102的扫描指示应改进先前扫描的一只耳朵的扫描，那么用户装置可确定将航路点放置在沿着剩余扫描路径将扫描仪特定地朝向另一耳朵的位置中。
如图22B的实例中所说明，用户装置可将航路点2002C调整为位于航路点2202A且将航路点2002D调整为位于航路点2202B处。然后，用户装置可使用航路点2202A及航路点2202B来沿着扫描路径的剩余部分引导扫描仪。下面在描述图23中的实例流程图时进一步描述更新优选路径的更新航路点。
再次参考图18，在更新优选路径(1814)的另一方面中，且如果用户装置支持在GUI上显示并自动切换多个缩放级别，那么用户装置可任选地更新在缩放级别之间切换以用于在GUI上显示渲染(或对象)的时间及频率(1820)。例如，如果与在一个缩放级别下使用优选路径提供相比对象包含华丽雕刻、面部特征或可能需要额外扫描以充分捕获的区域，那么用户装置可确定在与那些区域相关联的航路点沿着优选路径传递时在GUI上放大一或多个缩放级别。用户装置还可确定何时缩小，例如何时通过或完成与区域相关联的航路点。在另一实例中，如果用户装置确定扫描不足以用于某些所关注区域(例如用户没有充分注意扫描所关注区域)，那么用户装置可变更何时改变缩放级别以便引起用户注意关于何时扫描这些区域。
以上将渲染中的孔描述为可用于调整优选路径的一个因素。另外或替代地，用户装置还可使用不一致的扫描数据来确定是否要更新优选路径(例如重新扫描对象的收集到冲突数据的部分)。例如，如果对象的区域首先经扫描处于第一深度，但再次扫描处于不同深度，那么用户装置可确定应重新扫描所述区域以验证哪个深度为正确的。
图23为根据本发明的一些方面描绘用户装置在扫描期间确定及更新航路点的实例操作2300的说明性流程图。代替图18中所说明的实例操作1800的部分或除了其外，还可使用实例操作2300的部分。用户装置可引导用户沿着扫描路径的第一部分移动扫描仪(2302)。在一些实例实施方案中，第一部分的长度为固定的或与可视边界或对象类型相关。在一些另外的实例实施方案中，第一部分为最小长度，以便向用户装置提供用于观察的最小量的扫描数据。然而，用户装置可取决于例如被扫描的对象的类型，移动扫描仪的当前速度，移动扫描仪时的当前观察习惯等来调整第一部分。
用户装置可分析用户对扫描部分的表现(2304)以确定是否要更新航路点。例如，用户装置可确定扫描仪运动表现出良好还是不良的运动习惯。用户装置还可确定当前扫描质量。根据分析，如果将不更新航路点(2306)，那么用户装置引导用户沿着优选路径的下一部分移动扫描仪(2314)。如果用户装置确定将调整航路点(2306)，那么用户装置继续更新航路点(2308)。如先前所述，用户装置可任选地更新航路点的数目(2310)。另外或替代地，用户装置可任选地更新航路点的位置(2312)。随着航路点经更新，用户装置可引导用户沿着下一部分的经更新优选路径移动扫描仪(2314)。
如果在下一部分(2316)之后扫描完成，那么扫描结束且用户装置可停止引导用户。如果在下一部分(2316)之后扫描未完成，那么用户装置可再次分析用户对最近所扫描部分的表现(2304)以确定是否要更新剩余的航路点。扫描及检查扫描部分的过程可继续，直到扫描完成。虽然术语“部分”用于遍历扫描路径的部分，但部分不需要为相同的长度、频率、时间量或彼此相关。用户装置可确定在更新航路点之前结束部分的任何时刻。
虽然本发明的上述实例及方面包含引导用户沿着优选路径移动扫描仪，但本发明的各方面也可用于其它场景及环境中的扫描仪。例如，扫描仪可安装到无人驾驶交通载具(例如无人驾驶飞行器、无人机等)。因此，如果扫描仪附接到例如无人机，那么用户装置可沿着优选路径引导无人机以扫描对象。例如，为了引导无人机沿着优选路径操纵扫描仪，用户装置可向无人机提供导航命令，以便沿着优选扫描路径领航无人机。因此，替代辅助用户扫描对象，用户装置命令具有扫描仪的无人机的移动以便扫描对象。
除非明确地描述为以特定方式实施，否则本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。描述为模块或组件的任何特征也可在集成逻辑装置中一起实施，或作为离散但可互操作的逻辑装置单独实施。如果以软件实施，那么所述技术可至少部分地由包括指令(292)的非暂时性处理器可读存储媒体(例如图2中的存储器232)来实施，所述指令在由一或多个处理器(210)执行时执行上述一或多种方法。非暂时性处理器可读数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包含封装材料。
非暂时性处理器可读存储媒体可包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)，只读存储器(ROM)，非易失性随机存取存储器(NVRAM)，电可擦除可编程只读存储器(EEPROM)，快闪存储器，其它已知的存储媒体等。另外或替代地，这些技术可至少部分地由处理器可读通信媒体来实现，所述处理器可读通信媒体以指令或数据结构的形式承载或传送代码且可由计算机或其它处理器存取、读取及/或执行。
结合本文中所揭示的实例而描述的各种说明性逻辑块、模块、电路及指令可由一或多个处理器(例如，图2中的处理器210)执行。此处理器可包含但不限于一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)，或其它等效的集成或离散逻辑电路。如本文中所使用的术语“处理器”可指任何前述结构或适合于实施本文中所述技术的任何其它结构。另外，在一些方面中，可在如本文中所述配置的专用软件模块或硬件模块内提供本文所描述的功能性。此外，这些技术可在一或多个电路或逻辑元件完全实施。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器，控制器，微控制器或状态机。处理器还可实现为计算机装置的组合，例如DSP与微处理器、多个微处理器、一或多个微处理器结合DSP内核，或任何其它此类的配置的组合。
虽然前述揭示内容展示说明性方面，但请注意，可在本文中作出各种改变及修改而不脱离如随附权利要求书的范围。例如，虽然边界框被描述为在GUI中显示的框，但边界框可为任何形状，例如球形、多边形、用户定义的形状等。另外，除非另有明确说明，否则根据本文中所描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行。例如，图18中的1804-1810如果由用户装置执行那么可以任何次序且以任何频率执行。此外，尽管元件可以单数形式进行描述或主张，但涵盖复数形式，除非明确地陈述对单数形式的限制。例如，虽然描述一个用于移动扫描仪的路径，但扫描仪可行进一系列路径，或用户装置可提供多个可能的路径以允许用户选择当前要行进的路径。因此，更新优选路径可包含更新多于一个路径。因此，本发明并不限于所说明实例且用于执行本文中所描述的功能性的任何装置被包含的本发明的方面中。

Claims (30)

1.一种用于辅助对象的三维扫描的用户装置，其包括：
处理器；
扫描仪，其耦合到所述处理器且经配置以对所述对象执行三维扫描；
显示器，其用以显示图形用户界面GUI，所述显示器耦合到所述处理器；
存储器，其耦合到所述处理器及所述显示器，所述存储器包含一或多个指令，所述一或多个指令在由所述处理器执行时致使所述GUI：
显示正扫描的所述对象的目标标记；及
显示第一扫描仪位置标记，其指示所述扫描仪相对于所述目标标记的优选位置。
2.根据权利要求1所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI：
在所述第一扫描仪位置标记与所述目标标记之间显示瞄准器以辅助用户将所述扫描仪移动到所述优选位置。
3.根据权利要求1所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI：
显示扫描仪标记以辅助用户相对于所述目标标记定向所述扫描仪。
4.根据权利要求1所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI：
当所述扫描仪处于所述优选位置时，叠加所述第一扫描仪位置标记的至少部分及所述目标标记的至少部分。
5.根据权利要求4所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI显示可视边界，其中：
所述可视边界用于为针对所述对象定义用于移动所述扫描仪的扫描路径；及
所述第一扫描仪位置标记位于所述可视边界上。
6.根据权利要求5所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述用户装置基于来自由以下组成的组中的至少一者来确定所述可视边界：
正扫描的对象的类型；及
正扫描的所述对象的轮廓。
7.根据权利要求6所述的用户装置，其中所述存储器存储多个预定义可视边界，且其中所述一或多个指令在由所述处理器执行时进一步致使所述用户装置：
确定正扫描的对象的所述类型；及
基于所述确定从所述所存储的多个预定义可视边界中选择所述可视边界。
8.根据权利要求5所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI：
在所述目标标记的所述至少部分及所述第一扫描仪位置标记的所述至少部分叠加时，在所述可视边界上的新位置处显示第二扫描仪位置标记，指示所述扫描仪相对于所述扫描仪的新优选位置。
9.根据权利要求8所述的用户装置，其中所述第二扫描仪位置标记为所述第一扫描仪位置标记，且所述一或多个指令在由所述处理器执行时进一步致使所述GUI：
将所述第一扫描仪位置标记沿着所述扫描路径的部分移动到所述新位置，其中所述部分指示用于将所述扫描仪从所述优选位置移动到所述新优选位置的所要路径。
10.根据权利要求8所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使：
所述GUI以所确定顺序显示多个扫描仪位置标记的第一部分以辅助沿着所述扫描路径移动所述扫描仪；及
所述用户装置基于在显示所述第一部分时来自当前扫描的信息调整扫描仪位置标记的第二部分，包含调整由以下组成的组中的至少一者：
所述多个扫描仪位置标记中的一些；
用于显示扫描仪位置标记的所述所确定顺序；及
在所述可视边界上的所述多个扫描仪位置标记中的一或多个的位置。
11.根据权利要求10所述的用户装置，其中调整所述第二部分进一步基于来自先前扫描的用户信息。
12.根据权利要求1所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI在所述三维扫描期间显示根据所收集的扫描信息中对所述对象的渲染。
13.根据权利要求12所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使：
所述用户装置确定所述对象的实际背景类似于正扫描的所述对象；及
所述GUI显示从所述实际背景变更的渲染背景，以辅助用户在扫描期间将所述对象与所述实际背景区分开。
14.根据权利要求12所述的用户装置，其中所述一或多个指令在由所述处理器执行时进一步致使所述GUI放大到所述对象的所述渲染的部分，以辅助用户扫描与所述渲染的所述部分相关联的所述对象的部分。
15.一种用于通过包含扫描仪的用户装置对对象执行三维扫描的方法，其包括：
在所述用户装置的显示器上显示图形用户界面GUI以辅助扫描所述对象，其包括：
显示正扫描的所述对象的目标标记；及
显示第一扫描仪位置标记，其指示所述扫描仪相对于所述目标标记的优选位置。
16.根据权利要求15所述的方法，其中显示所述GUI进一步包括：
在所述第一扫描仪位置标记与所述目标标记之间显示瞄准器以辅助用户将所述扫描仪移动到所述优选位置。
17.根据权利要求15所述的方法，其中显示所述GUI进一步包括：
当所述扫描仪处于所述优选位置时，叠加所述第一扫描仪位置标记的至少部分及所述目标标记的至少部分。
18.根据权利要求17所述的方法，其中显示所述GUI进一步包括：
显示可视边界，其中：
所述可视边界用于为针对所述对象定义用于移动所述扫描仪的扫描路径；及
所述第一扫描仪位置标记位于所述可视边界上。
19.根据权利要求18所述的方法，其进一步包括：
通过所述用户装置基于由以下各项组成的组中的至少一者来确定所述可视边界：
正扫描的对象的类型；及
正扫描的所述对象的轮廓。
20.根据权利要求19所述的方法，其进一步包括：
在存储器中存储多个预定义可视边界；
确定正扫描的对象的所述类型；及
基于所述确定从所述所存储的多个预定义可视边界中选择所述可视边界。
21.根据权利要求18所述的方法，其中显示所述GUI进一步包括：
在所述目标标记的所述至少部分及所述第一扫描仪位置标记的所述至少部分叠加时，在所述可视边界上的新位置处显示第二扫描仪位置标记，指示所述扫描仪相对于所述扫描仪的新优选位置。
22.根据权利要求18所述的方法，其进一步包括：
在所述GUI中以所确定顺序显示多个扫描仪位置标记的第一部分以辅助沿着所述扫描路径移动所述扫描仪；及
通过所述用户装置基于在显示所述第一部分时来自当前扫描的信息调整扫描仪位置标记的第二部分，包含调整由以下组成的组中的至少一者：
所述多个扫描仪位置标记中的一些；
用于显示扫描仪位置标记的所述所确定顺序；及
在所述可视边界上的所述多个扫描仪位置标记中的一或多个的位置。
23.根据权利要求15所述的方法，其中显示所述GUI进一步包括：
根据在扫描期间所收集的扫描信息显示所述对象的渲染。
24.根据权利要求23所述的方法，其中显示所述GUI进一步包括：
放大到所述对象的所述渲染的部分以辅助用户扫描与所述渲染的所述部分相关联的所述对象的部分。
25.一种存储含有指令的一或多个程序的非暂时性计算机可读存储媒体，所述指令在由使用扫描仪对对像执行三维扫描的用户装置的一或多个处理器执行时致使所述用户装置执行包括以下的操作：
在所述用户装置的显示器上显示图形用户界面GUI以辅助扫描所述对象，其包括：
显示正扫描的所述对象的目标标记；
显示第一扫描仪位置标记，其指示所述扫描仪相对于所述目标标记的优选位置，其中所述第一扫描仪位置标记的至少部分及所述目标标记的至少部分在所述扫描仪处于所述优选位置时叠加；
显示可视边界，其中：
所述可视边界用于为针对所述对象定义用于移动所述扫描仪的扫描路径；及
所述第一扫描仪位置标记位于所述可视边界上；及
在所述目标标记的所述至少部分及所述第一扫描仪位置标记的所述至少部分叠加时，在所述可视边界上的新位置处显示第二扫描仪位置标记，指示所述扫描仪相对于所述扫描仪的新优选位置。
26.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述指令的执行致使所述用户装置执行进一步包括以下的操作：
确定正扫描的对象的类型；及
基于所述确定，从多个预定义可视边界中选择可视边界。
27.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述指令的执行致使所述用户装置执行进一步包括以下的操作：
在所述GUI中以所确定顺序显示多个扫描仪位置标记的第一部分以辅助沿着所述扫描路径移动所述扫描仪；及
在显示所述第一部分的同时基于来自当前扫描的信息调整所述多个扫描仪位置标记的第二部分，其中调整所述第二部分包含调整由以下各项组成的组中的至少一者：
所述多个扫描仪位置标记中的一些；
用于显示扫描仪位置标记的所述所确定顺序；及
在所述可视边界上的所述多个扫描仪位置标记中的一或多个的位置。
28.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述指令的执行致使所述用户装置执行进一步包括以下的操作：
根据在扫描期间所收集的扫描信息显示所述对象的渲染。
29.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述指令的执行致使所述用户装置执行进一步包括以下的操作：
在所述GUI中放大到所述对象的所述渲染的部分以辅助用户扫描与所述渲染的所述部分相关联的所述对象的部分。
30.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述指令的执行致使所述用户装置执行进一步包括以下的操作：
在所述GUI中，在所述第一扫描仪位置标记与所述目标标记之间显示瞄准器以辅助用户将所述扫描仪移动到所述优选位置。
CN201780061139.9A 2016-10-10 2017-09-07 用以辅助三维扫描对象的用户界面 Pending CN109792488A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662406331P 2016-10-10 2016-10-10
US62/406,331 2016-10-10
US15/459,924 2017-03-15
US15/459,924 US10341568B2 (en) 2016-10-10 2017-03-15 User interface to assist three dimensional scanning of objects
PCT/US2017/050549 WO2018071117A1 (en) 2016-10-10 2017-09-07 User interface to assist three dimensional scanning of objects

Publications (1)

Publication Number Publication Date
CN109792488A true CN109792488A (zh) 2019-05-21

Family

ID=61830259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061139.9A Pending CN109792488A (zh) 2016-10-10 2017-09-07 用以辅助三维扫描对象的用户界面

Country Status (3)

Country Link
US (1) US10341568B2 (zh)
CN (1) CN109792488A (zh)
WO (1) WO2018071117A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574849A (zh) * 2019-07-29 2021-10-29 苹果公司 用于后续对象检测的对象扫描
CN114201082A (zh) * 2021-11-25 2022-03-18 武汉尺子科技有限公司 一种3d扫描合成界面的交互方法、设备及存储介质
CN114356156A (zh) * 2021-11-25 2022-04-15 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质
EP4276729A1 (en) * 2022-05-13 2023-11-15 eBay, Inc. Auctions in extended reality environments
US12100229B2 (en) 2021-08-19 2024-09-24 Apple Inc. Object scanning for subsequent object detection

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US11551287B2 (en) 2013-10-17 2023-01-10 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US10366445B2 (en) 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
US10382673B2 (en) * 2017-01-11 2019-08-13 Hover Inc. Automated guide for image capturing for 3D model creation
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10467454B2 (en) * 2017-04-26 2019-11-05 Mashgin Inc. Synchronization of image data from multiple three-dimensional cameras for image recognition
US11281888B2 (en) 2017-04-26 2022-03-22 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10803292B2 (en) 2017-04-26 2020-10-13 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10628695B2 (en) 2017-04-26 2020-04-21 Mashgin Inc. Fast item identification for checkout counter
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
CN109931923B (zh) * 2017-12-15 2023-07-07 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
US20190236360A1 (en) 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
US10984503B1 (en) * 2018-03-02 2021-04-20 Autodata Solutions, Inc. Method and system for vehicle image repositioning using machine learning
US11270168B1 (en) 2018-03-02 2022-03-08 Autodata Solutions, Inc. Method and system for vehicle image classification
US10750083B2 (en) * 2018-04-06 2020-08-18 Motorola Solutions, Inc. Systems and methods for processing digital image data representing multiple views of an object of interest
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
JP7289626B2 (ja) * 2018-10-30 2023-06-12 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP7501372B2 (ja) * 2018-12-28 2024-06-18 ソニーグループ株式会社 情報処理装置および情報処理方法
US10706624B1 (en) 2019-03-11 2020-07-07 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths with augmented reality guidance
US11024079B1 (en) 2019-03-11 2021-06-01 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths and photogrammetry
US10937247B1 (en) 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry
US10645275B1 (en) 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process with augmented reality guidance
US10643344B1 (en) 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
EP3792809A1 (en) * 2019-09-11 2021-03-17 Bricsys NV Improved feature replication in a cad model
CN114945947A (zh) * 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
US20230119162A1 (en) * 2020-03-02 2023-04-20 Apple Inc. Systems and methods for processing scanned objects
US10931918B1 (en) * 2020-03-10 2021-02-23 Cisco Technology, Inc. Providing for cognitive recognition in a collaboration environment
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11763462B2 (en) * 2021-01-22 2023-09-19 Microsoft Technology Licensing, Llc Mesh hole area detection
USD953371S1 (en) 2021-10-22 2022-05-31 BioReference Health, LLC Display screen or portion thereof with animated graphical user interface
US11758122B1 (en) * 2022-01-06 2023-09-12 Norman Rogers Lens and camera testing method, apparatus, and system
US11983802B2 (en) * 2022-07-13 2024-05-14 Verizon Patent And Licensing Inc. Systems and methods for annotating a scene to include digital objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置
CN105391910A (zh) * 2014-08-27 2016-03-09 莱卡地球系统公开股份有限公司 多摄像机激光扫描仪
US9451245B1 (en) * 2015-01-06 2016-09-20 Ryan Franklin Darling Three dimensional digitizing and projector system
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2920153A (en) * 1957-12-18 1960-01-05 Horstmann Bevan Graham Electric time switches
JP3907783B2 (ja) 1996-12-12 2007-04-18 富士フイルム株式会社 色変換方法
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
US6297825B1 (en) 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
US6281904B1 (en) 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
US6469710B1 (en) 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
JP3892594B2 (ja) 1998-10-07 2007-03-14 株式会社東芝 超音波診断装置
EP1022654A3 (en) 1999-01-14 2001-02-14 Interuniversitair Microelektronica Centrum Vzw Concurrent timed digital system design method and environment
US6487304B1 (en) 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6476803B1 (en) 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
GB2377870B (en) 2001-05-18 2005-06-29 Canon Kk Method and apparatus for generating confidence data
US7215813B2 (en) 2001-12-03 2007-05-08 Apple Computer, Inc. Method and apparatus for color correction
WO2004027695A1 (en) 2002-09-20 2004-04-01 International Business Machines Coporation Color naming, color categorization and describing color composition of images
US20040136241A1 (en) 2002-10-31 2004-07-15 Lockheed Martin Corporation Pipeline accelerator for improved computing architecture and related system and method
US7570791B2 (en) 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US7272264B2 (en) 2003-09-11 2007-09-18 International Business Machines Corporation System and method for hole filling in 3D models
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7205998B2 (en) 2004-06-23 2007-04-17 Microsoft Corporation System and process for optimal texture map reconstruction from multiple views
US7688379B2 (en) 2005-12-09 2010-03-30 Hewlett-Packard Development Company, L.P. Selecting quality images from multiple captured images
SG176440A1 (en) 2006-11-21 2011-12-29 Mantisvision Ltd 3d geometric modeling and 3d video content creation
US8773425B2 (en) 2007-05-01 2014-07-08 M.E.P. CAD Inc. Methods and apparatuses for proposing resolutions to conflicts in a CAD drawing with reflections
US9561622B2 (en) 2008-05-05 2017-02-07 Georgia Tech Research Corporation Systems and methods for fabricating three-dimensional objects
JP5011224B2 (ja) 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
AU2008264197B2 (en) 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method
WO2011069698A1 (en) 2009-12-11 2011-06-16 Tessera Technologies Ireland Limited Panorama imaging
US8471890B1 (en) 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US9668714B2 (en) 2010-04-14 2017-06-06 Maui Imaging, Inc. Systems and methods for improving ultrasound image quality by applying weighting factors
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
GB2483433A (en) 2010-08-31 2012-03-14 Sony Corp 3D image adjustment based on differences in colour properties between stereo pair
US8811699B2 (en) 2010-09-22 2014-08-19 Siemens Aktiengesellschaft Detection of landmarks and key-frames in cardiac perfusion MRI using a joint spatial-temporal context model
US8149268B1 (en) 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
CN103415860B (zh) 2011-01-27 2019-07-12 苹果公司 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
WO2012110650A1 (en) * 2011-02-17 2012-08-23 Telefonica, S.A. Method and network entity for scheduling radio resources in mobile communication networks
CN103404154A (zh) 2011-03-08 2013-11-20 索尼公司 图像处理设备、图像处理方法以及程序
US20120300020A1 (en) 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
US8909625B1 (en) 2011-06-02 2014-12-09 Google Inc. Image search
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
CN102325259A (zh) 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
US9336625B2 (en) 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets
CN102364953A (zh) 2011-11-08 2012-02-29 北京新岸线网络技术有限公司 立体图像颜色校正方法及装置
JP5269972B2 (ja) 2011-11-29 2013-08-21 株式会社東芝 電子機器及び三次元モデル生成支援方法
AU2011253973B2 (en) 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
US9141196B2 (en) 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
US20130293686A1 (en) 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
WO2013166592A1 (en) 2012-05-09 2013-11-14 Laboratoires Bodycad Inc. Segmentation of magnetic resonance imaging data
WO2013174671A1 (en) 2012-05-22 2013-11-28 Telefonica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
US8941652B1 (en) 2012-05-23 2015-01-27 Google Inc. Incremental surface hole filling
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9147122B2 (en) 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
US9420265B2 (en) 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
CN103974055B (zh) 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
US9147279B1 (en) 2013-03-15 2015-09-29 Google Inc. Systems and methods for merging textures
US9196084B2 (en) 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US20140267618A1 (en) 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9338440B2 (en) * 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US9818231B2 (en) 2013-08-13 2017-11-14 Boston Scientific Scimed, Inc. Computer visualization of anatomical items
AU2013237718A1 (en) 2013-10-04 2015-04-23 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US9607388B2 (en) 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
US10915161B2 (en) 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US20160232715A1 (en) 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
EP3089449B1 (en) * 2015-04-30 2020-03-04 InterDigital CE Patent Holdings Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置
CN105391910A (zh) * 2014-08-27 2016-03-09 莱卡地球系统公开股份有限公司 多摄像机激光扫描仪
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置
US9451245B1 (en) * 2015-01-06 2016-09-20 Ryan Franklin Darling Three dimensional digitizing and projector system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574849A (zh) * 2019-07-29 2021-10-29 苹果公司 用于后续对象检测的对象扫描
US12100229B2 (en) 2021-08-19 2024-09-24 Apple Inc. Object scanning for subsequent object detection
CN114201082A (zh) * 2021-11-25 2022-03-18 武汉尺子科技有限公司 一种3d扫描合成界面的交互方法、设备及存储介质
CN114356156A (zh) * 2021-11-25 2022-04-15 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质
CN114356156B (zh) * 2021-11-25 2024-05-14 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质
CN114201082B (zh) * 2021-11-25 2024-07-26 武汉尺子科技有限公司 一种3d扫描合成界面的交互方法、设备及存储介质
EP4276729A1 (en) * 2022-05-13 2023-11-15 eBay, Inc. Auctions in extended reality environments

Also Published As

Publication number Publication date
US20180103209A1 (en) 2018-04-12
WO2018071117A1 (en) 2018-04-19
US10341568B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109792488A (zh) 用以辅助三维扫描对象的用户界面
CN108885459B (zh) 导航方法、导航系统、移动控制系统及移动机器人
CN111739146B (zh) 物体三维模型重建方法及装置
CN110475107A (zh) 车辆全景可视摄像机投影的失真校正
US7079679B2 (en) Image processing apparatus
KR101893152B1 (ko) 로봇 청소기 시스템 및 그 제어방법
CN106461790A (zh) 用于运行成像的定位设备的方法以及成像的定位设备
KR20150028152A (ko) 로봇 청소기 시스템 및 그 제어방법
KR102045219B1 (ko) 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법
CN108362223B (zh) 一种便携式3d扫描仪、扫描系统和扫描方法
CN101504728A (zh) 一种电子设备的遥控系统及其遥控方法
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
CN111680758B (zh) 图像训练样本生成方法和装置
CN114391777B (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
CN111724470B (zh) 一种处理方法及电子设备
CN109906600A (zh) 模拟景深
CN112119427A (zh) 目标跟随的方法、系统、可读存储介质和可移动平台
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
KR102118054B1 (ko) 로봇 청소기의 원격제어장치 및 그 제어방법
CN108287345A (zh) 基于点云数据的空间扫描方法及系统
CN105814604A (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
Shen et al. A multi-view camera-projector system for object detection and robot-human feedback
CN108364340A (zh) 同步空间扫描的方法及系统
WO2019012314A1 (ru) Способ отображения широкоформатного объекта дополненной реальности
CN111179341A (zh) 一种增强现实设备与移动机器人的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210507