CN113532326B - 用于辅助型3d扫描的系统和方法 - Google Patents

用于辅助型3d扫描的系统和方法 Download PDF

Info

Publication number
CN113532326B
CN113532326B CN202110779252.9A CN202110779252A CN113532326B CN 113532326 B CN113532326 B CN 113532326B CN 202110779252 A CN202110779252 A CN 202110779252A CN 113532326 B CN113532326 B CN 113532326B
Authority
CN
China
Prior art keywords
camera
depth
coverage
poses
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110779252.9A
Other languages
English (en)
Other versions
CN113532326A (zh
Inventor
法兰西斯科·佩鲁奇
吉里达尔·穆拉利
朱利欧·马林
阿巴斯·拉斐
金·萧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Packsize LLC
Original Assignee
Packsize LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Packsize LLC filed Critical Packsize LLC
Priority to CN202110779252.9A priority Critical patent/CN113532326B/zh
Publication of CN113532326A publication Critical patent/CN113532326A/zh
Application granted granted Critical
Publication of CN113532326B publication Critical patent/CN113532326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种三维扫描系统包含：被配置成捕获图像的相机；处理器；以及耦合到所述相机和所述处理器的存储器，所述存储器被配置成存储：由所述相机捕获的所述图像；以及指令，所述指令在由所述处理器执行时，致使所述处理器：控制所述相机从所述相机的第一姿态捕获对象的一个或多个初始图像；根据所述一个或多个初始图像计算指导图以识别一个或多个下一姿态；控制所述相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外图像；根据所述一个或多个额外图像更新所述指导图；以及输出由所述相机捕获的所述图像以生成三维模型。

Description

用于辅助型3D扫描的系统和方法
本发明是“申请日为：2017-2-28、申请号为：201780025636.3和发明名称为：用于辅助型3D扫描的系统和方法”的分案申请。
相关申请的交叉引用
本申请要求2016年2月29日在美国专利商标局提交的美国临时专利申请第62/301,603号的益处，所述申请的全部内容以引用的方式并入本文中。
技术领域
本发明的实施例的方面涉及图像捕获系统、图像处理和三维(3D)扫描的领域。
背景技术
本发明的实施例的方面涉及三维(3D)扫描的领域。在此过程中，相机从一般物件的不同视图收集数据，接着对准并组合数据以创建物件的形状和色彩(如果可获得)的3D模型。术语‘映射’有时也用于反映捕获空间(或更一般来说，3D场景)的过程。
以此方式生成3D模型存在需要成像物件的大体上全部侧面或场景部分，以便产生物件的完整模型的特定挑战。举例来说，可能难以或不可能产生对象(例如，物件或场景)的部分未在3D扫描过程期间捕获的准确模型。另外，未能从某些角度捕获物件的图像会在所生成的模型中产生孔洞、间隙、失真或其它伪影(在一些情况下，如果物件的底部表面与所要3D模型无关，则可能会忽略所述底部表面)。
为充分覆盖物件的色彩和几何方面，扫描过程可捕获数百帧的相关场景部分。所产生的数据量和数据处理时间可能极高。举例来说，如果RGB-D相机每帧产生614KB(～VGA)数据，而相关联彩色相机每帧产生2764KB(～720p)数据，则在每秒15帧和30秒的扫描时间下，所产生的原始图像数据量可高达1.42GB。建立3D模型的处理时间也会随所产生的数据量成比例地增大。此外，操作相机的用户可能不能充分地捕获物件的相关方面，或过度捕获(过度取样)一侧而对另一视图捕获不足(取样不足)。取样不足可能不能产生所要的分辨率或完全缺失可能具有复杂3D形状的物件的一些侧面，而过度取样会产生不必要的耗用扫描系统的通信和计算资源的冗余数据(例如，对于建构3D模型的目的，具有低信息内容的额外数据)。
发明内容
本发明的实施例的方面涉及用于辅助或指导对物件和场景的扫描的系统和方法。所述辅助或指导可用于通过将扫描装置指导到改进目标的相关方面与模型使用目标相称的覆盖率并减少过度捕获的姿态(例如，扫描装置的位置和定向)而改进通过扫描过程生成的3D模型的准确度。
根据本发明的一个实施例，一种三维扫描系统包含：被配置成捕获图像的相机；处理器；以及耦合到相机和处理器的存储器，存储器被配置成存储：由相机捕获的图像；以及指令，所述指令在由处理器执行时，致使处理器：控制相机从相机的第一姿态捕获对象的一个或多个初始图像；根据一个或多个初始图像计算指导图以识别一个或多个下一姿态；控制相机从一个或多个下一姿态中的至少一个捕获一个或多个额外图像；根据一个或多个额外图像更新指导图；以及输出由相机捕获的图像以生成三维模型。
相机可为深度相机。
深度相机可为立体显示深度相机，其包含：第一相机，其具有具第一光轴的第一视场；以及第二相机，其与第一相机间隔开，且具有重叠第一视场的第二视场和具有大体上平行于第一光轴的第二光轴。
三维扫描系统可进一步包含与深度相机对齐的彩色相机。
三维扫描系统可进一步包含耦合到处理器的显示器，其中存储器进一步存储致使处理器控制显示器向三维扫描系统的用户提供反馈的指令，所述反馈包含指导图的一个或多个下一姿态的图形表示。
图形表示可为围绕对象的拱顶，且热图指示拱顶的哪些部分对应于一个或多个下一姿态。
一个或多个下一姿态可形成路径。
可根据增大对象的覆盖率并减少扫描时间来选择路径。
指导图可为覆盖率图。
对象可为集装箱，存储器可进一步存储致使处理器基于三维模型估计集装箱的可用体积的指令，且指导图可识别一个或多个下一姿态以定位可用体积的拐角。
对象可为箱子堆叠，存储器可进一步存储致使处理器基于三维模型计数箱子数目的指令，且指导图可识别一个或多个下一姿态以识别具有低覆盖率的箱子。
根据本发明的一个实施例，一种用于提供指导型扫描的方法包含：由处理器控制相机从相机的第一姿态捕获对象的一个或多个初始图像；由处理器根据一个或多个初始图像计算指导图以识别一个或多个下一姿态；由处理器控制相机从一个或多个下一姿态中的至少一个捕获一个或多个额外图像；由处理器根据一个或多个额外图像更新指导图；以及输出由相机捕获的图像以生成三维模型。
所述方法可进一步包含通过耦合到处理器的显示器将视觉反馈提供给用户，所述反馈包含指导图的一个或多个下一姿态的图形表示。
对象可为集装箱，所述方法可进一步包含基于三维模型估计集装箱的可用体积，且指导图可识别一个或多个下一姿态以定位可用体积的拐角。
对象可为箱子堆叠，所述方法可进一步包含基于三维模型计数箱子数目，且指导图可识别一个或多个下一姿态以识别具有低覆盖率的箱子。
附图说明
附图连同说明书一起说明本发明的示范性实施例，并连同描述一起用以解释本发明的原理。
图1A为根据本发明的一个实施例的用于扫描场景的过程的示意图。
图1B为根据本发明的一个实施例的用于扫描物件的过程的示意图。
图1C为根据本发明的一个实施例的用以成像包含待扫描物件的场景的一部分的五个相机的布置的示意图。
图2A为根据本发明的一个实施例的扫描系统的框图。
图2B为根据本发明的一个实施例的具有可拆卸扫描传感器的扫描系统的框图。
图3为根据本发明的一个实施例的用于执行扫描的方法的流程图。
图4A说明根据本发明的一个实施例的用以界定圆柱形包络的对物件的初始图像捕获。
图4B说明所计算的垂直包络并不含有正扫描的整个物件的一种情形。
图4C说明根据本发明的一个实施例的用以界定圆柱形包络的对场景的初始图像捕获。
图5说明根据本发明的一个实施例的使用圆柱形包络的贴片的覆盖率计算。
图6A说明根据本发明的一个实施例的作为包围拱顶或半球体围绕物件的包络的一个实施例。
图6B说明根据本发明的一个实施例的作为包围拱顶或半球体围绕场景的一部分的包络的一个实施例。
图6C为根据本发明的一个实施例的在包围拱顶上表示的热图的视觉显示。
图7A描绘根据本发明的一个实施例的在扫描过程期间的用户界面，其中以叠加图指示具有高扫描质量的部分。
图7B描绘根据本发明的一个实施例的在扫描过程之后用于计数集装架上的箱子数目的用户界面。
图8A为根据本发明的一个实施例的对卡车货舱内部进行扫描的示意性说明。
图8B、8C和8D为根据本发明的一个实施例的对卡车内的可用体积进行计算的示意性说明。
图9A为说明在未使用根据本发明的实施例的辅助型扫描系统情况下执行物件扫描时的扫描错误区域的彩色译码图。
图9B为说明在使用根据本发明的实施例的辅助型扫描系统执行物件扫描时的扫描错误区域的彩色译码图。
具体实施方式
在以下详细描述中，仅借助于说明示出且描述了本发明的某些示范性实施例。如所属领域的技术人员将认识到，本发明可以许多不同形式体现且不应将其理解为限于本文中所阐述的实施例。在整篇说明书中，相同的附图标记指定相同的元件。
在许多商业和工业应用中，可使用成像方法和计算机视觉处理来理解物件和场景的物理性质，例如物理测量值。使用标准的二维(2D)彩色相机可提供有用的开始图像，但2D图像不能保留现实世界的测量值。深度相机的使用通过启用图像处理模块来测量场景中的物件尺寸解决了此问题，所述深度相机提供每一像元或像素处的深度信息(例如，每一像素离相机的距离)。然而，单个深度图像可能仍不足以捕获场景的全部几何方面。举例来说，细节较少的区域可能会模糊，且遮挡部(例如，挡住其它物件的物件或场景部分)可能会遮盖其它物件的形状。
因而，本发明的实施例的方面涉及通过从多个视图(例如，多个位置或姿态)汇总深度(且在一些实施例中，色彩)信息而快速建立物件和/或场景的完整或部分三维模型的系统和方法。举例来说，本发明的实施例可应用于扫描平坦表面上的物件(例如，桌子或台子上的小型物件)，所述平坦表面在本文中可被称作“地平面”。本发明的实施例还可用以扫描例如房间的大型场景或占据较大面积的一系列物件，例如含有例如箱子的物件的仓库集装架或货架上的一系列箱子。
为建立成功的(或充分有用的)3D模型，本发明的实施例的方面涉及在扫描期间提供建议移动相机的良好路径的辅助或指导。计算此路径是为了促进或最大化捕获速度(例如，避免对具有充分信息的场景部分进行重复或冗余捕获)，并降低未能捕获物件和/或场景的与最终模型的使用目标相关的重要视图的可能性。在一些实施例中，所述指导用于例如经由显示装置向操作人员提供反馈。在其它实施例中，所述指导用于自动地控制例如安装在可控机械臂上的深度相机的位置。此方法提供获取物件和场景的可靠且准确扫描的用户友好或自动方式。
本发明的实施例应用于例如物流、库存管理和产品目录或列表的领域中。
举例来说，在物流应用中，本发明的实施例可应用于捕获仓库货架的3D扫描以计数那些货架上的箱子，并捕获船运集装箱或卡车货舱的3D扫描以估计剩余可用空间。在由无论是2D还是3D的任何成像系统通过单个视图分析这些情形的情况下，结果将很可能是不可靠的，这是因为单个视图很可能在所扫描场景的形状方面留下许多模糊。此外，在没有指导的情况下，用户可能无法理解将需要何额外视图来解决那些模糊。根据本发明的实施例的扫描系统的用户友好本质允许仓库雇员在无需进行广泛训练的情况下通过从多个角度捕获视图而生成准确的结果。
图1A为根据本发明的一个实施例的用于扫描场景的过程的示意图。具体地说，图1A说明使用扫描系统10来扫描厢式卡车12的货物区域内部。在一些实施例中，扫描系统10包含相机、显示屏、存储器和处理单元或处理器。用户14可在从多个不同姿态捕获场景图像的路径上自由地移动扫描系统10，借此产生多个视图。扫描系统10可辅助用户在有效地提供良好结果的路径上移动扫描系统。举例来说，在扫描厢式卡车的货物区域内部以估计空置体积时，可将路径设计成捕获尤其可用于计算体积的场景方面。此指导可提供为扫描系统10的显示屏上示出的实时反馈。
组合多个视图以生成卡车12的货物区域内部的场景的3D模型。所得3D模型接着可用于估计卡车的货物区域的可用空间或体积12a。类似应用将为扫描例如联运集装箱(例如，20英尺或40英尺集装箱)的船运集装箱的内部。
可大体上在装置中执行对3D扫描结果的存储、处理和显示。然而，因为生成3D模型在计算上可是昂贵的，所以在一些实施例中，装置的可用通信接口用于使用局域网(LAN)或广域网(WAN，例如因特网)16将原始或经部分处理的数据传输到远程(或“离线”)处理器18。通常具有比扫描系统10高得多的处理能力和存储能力的远程处理器18可快速优化并完成3D扫描，且可向多个扫描系统提供此服务。举例来说，扫描系统10可从计算出的相机位置产生3D云(来自对象的不同视图的经汇总和对准的一系列3D XYZ测量值)和彩色图像，将3D云发送到远程处理器18。远程处理器18可产生对象的多边形网状结构，并执行纹理映射以将实际色彩施加到3D扫描。可将结果直接从服务器呈现给用户，或将结果发送回到扫描系统10以用于在装置上显示和操纵。在一些实施例中，扫描系统10基于所接收3D模型计算所要值(例如卡车的可用空间)。在其它实施例中，远程处理器18也计算应用特定值。
作为又一实例，在产品目录或列表的应用中，买家可使用所出售产品的3D模型以获得对产品的大小和形状的更好理解。参见例如美国专利申请第62/412,075号“情境式3D模型分级(CONTEXTUAL 3D MODEL STAGING)”，其全部公开内容以引用的方式并入本文中。本发明的实施例提供生成用于销售的产品的准确模型的用户友好方式，这可用于补充目录中的产品列举(例如，网站上的产品列举)。
图1B为根据本发明的一个实施例的用于扫描物件的过程的示意图。如图1B中所示出，扫描系统10包含显示组件200和可拆卸的扫描组件100。扫描组件自由地移动到不同姿态(例如，图1B中示出的八个不同姿态)，以便捕获放置在充当地平面24的台子上的物件20的不同视图。术语‘自由地’暗示存在在对象前方或周围移动相机的许多轨迹。在一个实施例中，扫描系统通过向用户提供可有效地产生良好结果的物件周围路径而辅助用户。
如同图1A中示出的实施例，在一些实施例中，将所捕获的视图传输(例如，经由因特网16)到远程处理器18以生成3D模型，且可将3D模型传输回到扫描装置10并在扫描系统10的显示组件200上显示202。
深度相机扫描系统
在用于扫描的相机类型当中，我们可使用一般彩色相机、深度(或范围)相机或深度与彩色相机的组合。后者通常被称为RGB-D，其中RGB代表彩色图像且D代表深度图像(其中每一像素编码场景的深度(或距离)信息)。可通过包含几何或电子方法的不同方法获得深度图像。几何方法的实例包含被动或主动式立体相机系统和结构光相机系统。捕获深度图像的电子方法的实例包含飞行时间(TOF)或一般扫描或固定LIDAR相机。
本发明的一些实施例涉及手持式3D扫描器。此手持式3D扫描器可包含深度相机(计算由每一像素成像的表面元素的距离的相机)，连同可对齐同一表面的多个深度图像以创建可能较大表面或完整物件的3D表示的软件。手持式3D扫描器的用户需要将其移动到物件周围的不同位置并进行定向，从而使得覆盖了物件表面(例如，在由扫描器拍摄的至少一个深度图像中所见的表面)上的所有点。另外，重要的是每一表面贴片(surface patch)接收足够高密度的深度测量值(其中深度相机的每一像素提供一个此深度测量值)。深度测量值的密度取决于相机检视表面贴片的距离，以及表面相对于深度相机的检视方向或光轴的角度或倾斜。
本发明的一些实施例涉及用于识别策略性地摆放以捕获场景的关键部分的多个相机的姿态的系统和方法，其中每一姿态可包含位置和定向。在此情况下，凭经验确定有效地捕获场景的关键部分的相机布置(例如，最佳姿态集合)。图1C为根据本发明的一个实施例的用以成像包含待扫描物件20的场景的一部分的五个相机103a、103b、103c、103d和103e(统称为103)的布置的示意图。相机中的每一个可具有包含三维空间位置和定向(例如，俯仰、偏转和滚动)的对应姿态。相机以不同姿态布置，以捕获物件20(在图1C中示出的实施例中，手提包)的所有相关表面。相关表面可为例如物件20的除了上面放置物件20的地平面24上的表面或被所述地平面遮蔽的表面外的所有表面。本发明的实施例的方面涉及自动地识别待布置在物件周围的相机103的这些姿态(例如，固定姿态)，使得可无需从其姿态移动相机而成像类似物件(例如，组装线或传送带上的相同样式的其它手提包)的所有相关表面。
图2A为根据本发明的一个实施例的作为立体深度相机系统的扫描系统的框图。
图2B中示出的扫描系统10包含第一相机102、第二相机104、投影源106(或照明源或主动式投影系统)以及主机处理器108和存储器110，其中主机处理器可为例如图形处理单元(GPU)、较通用处理器(CPU)、适当配置的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。第一相机102和第二相机104可稳固地附接(例如)到框架上，使得其相对位置和定向大体上固定。第一相机102和第二相机104可一起称为“深度相机”。第一相机102和第二相机104包含对应的图像传感器102a和104a，且还可包含对应的图像信号处理器(ISP)102b和104b。各种组件可经由系统总线112彼此通信。图像捕获系统100可包含额外组件，例如允许装置显示图像的显示器114、用以与其它装置通信的网络适配器116、用以检测扫描系统10的加速度(例如，检测重力方向以确定定向和检测移动以检测位置改变)的例如陀螺仪的惯性测量单元(IMU)118，以及用于存储由扫描系统10收集和处理的数据的例如NAND快闪存储器的永久性存储器120。IMU 118可为通常见于许多现代智能手机中的类型。图像捕获系统还可包含其它通信组件，例如通用串行总线(USB)接口控制器。
在一些实施例中，相机102和104的图像传感器102a和104a为RGB-IR图像传感器。能够检测可见光(例如，红-绿-蓝或RGB)和不可见光(例如，红外或IR)信息的图像传感器可为例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器。通常，常规的RGB相机传感器包含以“拜耳布局”或“RGBG布局”布置的像素，所述布局为50％绿色、25％红色和25％蓝色。根据拜耳布局，在个别光电二极管前方(例如，光电二极管与相关联于相机的光学件之间)放置用于绿色、红色和蓝色波长中的每一个的带通滤光器(或“微滤器”)。通常，常规的RGB相机传感器还包含红外(IR)滤光器或IR截止滤光器(例如，形成为镜头的部分或整个图像传感器芯片上的涂层)，其进一步挡住电磁光谱的IR部分中的信号。
RGB-IR传感器大体类似于常规的RGB传感器，但可包含不同的彩色滤光器。举例来说，在RGB-IR传感器中，每组四个光电二极管中的绿色滤光器中的一个被替换成IR带通滤光器(或微滤器)，以创建25％绿色、25％红色、25％蓝色和25％红外的布局，其中红外像素掺和在可见光像素当中。另外，可从RGB-IR传感器省略IR截止滤光器，所述IR截止滤光器可仅位于检测红色、绿色和蓝色光的像素上方，或IR滤光器可设计成使可见光以及特定波长间隔(例如，840到860nm)中的光穿过。能够捕获电磁光谱的多个部分或谱带或光谱带中的光(例如，红色、蓝色、绿色和红外光)的图像传感器在本文中将被称作“多通道”图像传感器。
在本发明的一些实施例中，图像传感器102a和104a为常规的可见光传感器。在本发明的一些实施例中，系统单独地包含一个或多个可见光相机(例如，RGB相机)和一个或多个不可见光相机(例如，红外相机，其中IR带通滤光器位于所有像素上方)。
一般来说，立体显示深度相机系统包含彼此间隔开且稳固地安装到例如刚性框架的共享结构的至少两个相机。相机在大体上相同的方向上定向(例如，相机的光轴可大体上平行)且具有重叠的视场。可使用例如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器实施这些个别相机，所述图像传感器具有被配置成将光引导或聚焦到图像传感器上的光学系统(例如，包含一个或多个镜头)上。光学系统可例如基于光学系统是实施为“广角”镜头、“摄远”镜头还是其间的某物而确定相机的视场。
在以下论述中，深度相机系统的图像采集系统可被称为具有至少两个相机，所述相机可被称为“主控”相机和一个或多个“从属”相机。一般来说，所估计深度或视差图是从主控相机的视角计算，但相机中的任一个可用作主控相机。如本文中所使用，除非指出，否则例如主/从、左/右、上/下、第一/第二和CAM1/CAM2的术语可互换地使用。换句话说，相机中的任一个可为主控或从属相机，且相对于右侧相机考虑左侧相机也可通过对称性适用于其它方向。另外，虽然下文呈现的考虑对于各种数目个相机可是有效的，但为方便起见，将通常在包含两个相机的系统的上下文中进行描述。举例来说，深度相机系统可包含三个相机。在此类系统中，相机中的两个可为不可见光(红外)相机且第三相机可为可见光(例如，红色/蓝色/绿色彩色相机)相机。第三相机可与第一和第二相机光学对齐(例如，校准)。包含三个相机的深度相机系统的一个实例描述于2016年5月5日在美国专利商标局提交的美国专利申请第15/147,879号“深度感知三目相机系统(Depth Perceptive TrinocularCamera System)”中，所述申请的全部公开内容以引用的方式并入本文中。
为检测由相机成像的场景中的特征的深度，深度相机系统确定特征在由相机所捕获的图像中的每一个中的像素位置。两个图像中的特征之间的距离被称为视差，其与物件的距离或深度反向相关。(这就是在一时间处用一个眼睛检视物件时比较物件“移位”程度时的效果--移位的大小取决于物件离检视者的眼睛多远，其中较近物件产生较大移位且较远物件产生较小移位，且在远处的物件可能几乎不具有可检测的移位。)用于使用视差计算深度的技术例如描述于R.塞利斯基的“计算机视觉处理：算法和应用(Computer Vision:Algorithms and Applications)”(斯普林格出版社，2010，第467页)以及下列内容中。
主控与从属相机之间的视差量值取决于深度相机系统的物理特性，例如相机的像素分辨率、相机之间的距离和相机的视场。因此，为生成准确的深度测量值，基于这些物理特性校准深度相机系统(或深度感知深度相机系统)。
在一些深度相机系统中，可将相机布置成使得相机的图像传感器的水平像素行大体上平行。图像校正技术可用于调节由于相机镜头的形状和相机定向的变化而产生的图像失真。
较详细地说，相机校准信息可提供校正输入图像的信息，从而使得等效相机系统的核线(epipolar line)与经校正图像的扫描线对准。在此情况下，场景中的3D点投影到主控和从属图像中的相同扫描线索引上。使um和us分别为同一3D点p在主控和从属等效相机中的图像的扫描线上的坐标，其中在每一相机中，这些坐标参考以主点(光轴与焦平面的相交点)为中心且具有平行于经校正图像的扫描线的横轴的轴系。差us-um被称为视差且由d表示；其与3D点相对于经校正相机的正交距离(即，点到任一相机的光轴上的正交投影的长度)成反比。
立体显示算法利用视差的此性质。这些算法通过匹配在左侧和右侧视图中检测到的点(或特征)来实现3D重建，这等效于估计视差。块匹配(BM)为常用的立体显示算法。在给定主控相机图像中的像素的情况下，算法计算将此像素与从属相机图像中的任一其它像素匹配的成本。此成本函数被界定为环绕主控图像中的像素和从属图像中的像素的较小窗口内的图像内容之间的差异性。点处的最佳视差最后被估计为最小匹配成本的变量参数。此程序通常被称为胜者全得(Winner-Takes-All,WTA)。这些技术较详细地描述(例如)于R.塞利斯基的“计算机视觉处理：算法和应用”(斯普林格出版社，2010)中。由于如BM的立体算法依赖于外观相似性，因此在从属图像中超过一个像素具有相同的局部外观时，视差计算会变得具挑战性，这是由于所有这些像素可类似于主控图像中的同一像素，从而带来模糊的视差估计。可发生此情况的典型情形为当视觉化具有恒定亮度的场景(例如平坦墙壁)时。
存在通过投影图案而提供额外照明的方法，所述图案设计成改进或优化可捕获较小3D细节的块匹配算法的性能，所述方法例如描述于2016年7月12日发布的美国专利第9,392,262号“用于使用多个多通道相机3D重建的系统和方法(System and Method for3DReconstruction Using Multiple Multi-Channel Cameras)”中的一个方法，所述专利的全部公开内容以引用的方式并入本文中。另一方法投影纯粹用于向场景提供纹理，且通过消除原本看起来相同的场景部分的模糊性而尤其改进较少纹理区域的深度估计的图案。
根据本发明的实施例的投影源106可被配置成朝向由相机102和104成像的场景发射可见光(例如，人类和/或其它动物可见的光谱内的光)或不可见光(例如，红外光)。换句话说，投影源可具有大体上平行于相机102和104的光轴的光轴，且可被配置成在相机102和104的视场方向上发射光。不可见光投影源可能更好地适于对象为人的情形(例如视讯会议系统中)，这是因为不可见光将不会干扰对象的查看能力，而可见光投影源会照射对象的眼睛造成不适或可通过将图案添加到场景而不当地影响体验。包含不可见光投影源的系统的实例描述(例如)于2015年6月30日在美国专利商标局提交的美国专利申请第14/788,078号“用于基于多重曝光设置进行多通道成像的系统和方法(Systems and Methods forMulti-Channel Imaging Based on Multiple Exposure Settings)”中，所述申请的全部公开内容以引用的方式并入本文中。
主动式投影源也可被分类为投影静态图案(例如，并不随时间推移改变的图案)和动态图案(例如，随时间推移改变的图案)。在这两种情况下，图案的一个方面为所投影图案的照明水平。这可为相关的，因为其可影响深度相机系统的深度动态范围。举例来说，如果光学照明处于高水平，则可对远处物件且在明亮的环境光条件下进行深度测量(例如，以与距离的反平方成比例的因数克服光学照明在到物件的距离上的递减)。然而，高水平的光学照明会导致近距场景部分饱和。另一方面，低水平的光学照明可允许测量近处物件，但无法测量远处物件。
图2B为根据本发明的一个实施例的作为立体相机系统的扫描系统的框图。在图2B中示出的实施例中，如在图1B中，扫描系统10包含两个组件：可拆卸的扫描组件100和显示组件200。在一些实施例中，显示组件200为计算机系统，例如智能电话、平板电脑、个人数字助理或其它类似系统。使用可分离的扫描和显示组件的扫描系统更详细地描述(例如)于2016年12月16日在美国专利商标局提交的美国专利申请第15/382,210号“包含可从屏幕拆卸的扫描传感器的3D扫描设备(3D Scanning Apparatus Including Scanning SensorDetachable from Screen)”中，所述申请的全部公开内容以引用的方式并入。
尽管本发明的实施例在本文中是关于立体深度相机系统进行描述，但本发明的实施例并不限于此，且也可与例如飞行时间相机和LIDAR相机的其它深度相机系统一起使用。
取决于相机的选择，不同技术可用于生成3D模型。举例来说，实时密集跟踪与映射(DTAM)使用色彩提示来扫描，且同时定位与映射使用深度数据(或深度与色彩数据的组合)以生成3D模型。
操作方法
图3为根据本发明的一个实施例的用于执行扫描的方法的流程图。在本发明的一些实施例中，存储在扫描系统10的存储器中的指令(例如，计算机程序)由扫描系统的处理器和/或控制器执行，以执行方法的各种操作。在本发明的其它实施例中，操作中的一些或全部可由其它类型的处理装置执行，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)等。
为方便起见，下文将在上文关于图2A和2B所描述的扫描系统10(且特定来说，立体深度相机系统)的上下文中描述方法。然而，本发明的实施例并不限于此，且可应用于从一个或多个视图估计深度的其它相机系统。在下文论述中，假定物件和/或场景的图像是用来自不同有利点或姿态的同一相机或来自不同有利点或姿态的多个相机(例如，立体相机系统)捕获。然而，本发明的实施例并不限于此，且可应用于图像从单个相机捕获或图像从用于捕获同一对象(例如，物件或场景)的多个相机捕获或其组合的情形中。
本发明的实施例的方面涉及监视正扫描的对象(例如，物件或场景)的表面的不同贴片的覆盖率和测量密度，并经由适当用户界面提供关于将扫描器移动到何处的指导，以便快速且有效地覆盖整个表面并确保充分测量密度。通过遵循来自根据本发明的实施例的方法的指示，用户可减少缺失物件部分或场景表面的风险或对一些表面取样不足的风险。所述方法也避免或减少捕获已极好地覆盖的表面，借此解决过度取样问题。因此，减少了或最小化产生良好形成的3D扫描的整个时间。
参考图3，在操作302中，处理器(例如，图2A中的主机处理器108或与图2B的控制器108协同工作的处理器210)控制扫描装置捕获初始图像。处理器可控制相机102和104大体上同时捕获图像，并使用所捕获的图像来使用如上文所描述的图像视差技术计算深度图像，其中深度图像为初始图像。在一些情形下，可控制投影源106在图像捕获期间提供额外照明。
在操作304中，处理器基于在操作302中捕获的深度图像初始化指导图。因为深度图像包含深度信息，所以在某种意义上，此图像已为3D模型。指导图为扫描进展表示，所述扫描进展表示可用于识别用于额外图像的相机的一个或多个额外姿态以改进扫描。在一些实施例中，“包络”用于界定指导图的形状。在一些实施例中，处理器也可使用初始图像来界定包络，所述包络表示待扫描对象(例如，物件或场景)的形状的概述描述。可以多种方式获得此包络。举例来说，可使用初始图像来界定环绕待扫描物件或待扫描的场景部分的虚拟表面(例如，圆柱形、球形或半球形拱顶)，其中初始图像用于确定场景或物件的一般轮廓。在一些实施例中，可沿着垂直于上面放置物件的地平面的光轴捕获初始图像(例如，物件的俯视图)。在一些实施例中，在成像场景或较大物件(例如货架、箱子堆叠和房间或集装箱内部)时，初始图像可为正视图或由用户选择的关注区域而非俯视图。形状包络可在扫描过程期间保持固定，或可随着获取了较多3D数据而逐渐进行改良。
在一些实施例中，通过沿着路径移动扫描系统以获取对象(例如，物件或场景)的大致粗略形状而基于快速3D扫描创建初始3D模型和包络。因为此快速扫描用于初始化过程，所以将通过所述过程来解决并校正与此初始扫描相关联的低覆盖率和取样不足问题。
图4A说明根据本发明的一个实施例的用以界定圆柱形包络的对物件的初始图像捕获。如图4A中所示出，扫描系统10例如沿着大体上垂直于地平面24的光轴40从俯视图捕获物件20的图像。
基于从俯视图捕获的初始深度图像且假定物件位于大体上平坦的表面或地平面24(例如桌面)上，有可能建立如从上方看到的物件20的大致3D“垂直包络”414。为建构此垂直包络414，对于俯视图中由扫描系统10的深度相机所测量的每一3D点，处理器计算3D点到地平面24(称为生成器)上的垂直投影。在一些实施例中，处理器在单个图像的初始捕获期间确定垂直方向平行于扫描系统的光轴。在包含惯性测量单元IMU 118的本发明的其它实施例中，垂直方向可设定为平行于重力向量。在使用如图2B中所示出的可拆卸的扫描组件100的实施例中，可拆卸的扫描组件100可缺乏IMU 118且显示组件200可包含IMU 118(例如，在显示组件200为智能电话的情况下)。在此情况下，可用物理且稳固地连接到显示组件200的可拆卸的扫描组件100捕获初始图像，使得所捕获的初始图像具有来自IMU 118的定向信息。
通过将物件的每一3D点投影到地平面上，处理器计算生成器的凸平面包络(或包壳)。通过此包壳的顶点的垂直线界定广义圆柱体(例如，具有为相同形状(例如凸形)的闭合曲线的两个平行端部，和在两个端部之间沿着垂直于两个端部的平面的方向延伸的表面的柱体)。此广义圆柱体在本文中将被称作物件的典型垂直包络。如图4A中所示出，包络414为具有呈凸包壳形状的端部414e和414h的广义圆柱体。
为方便起见，假定包络414含有整个物件20。然而，可能存在此情况不成立的情况，例如在物件20在底部(例如，靠近地平面24)处略微较宽的情况下。图4B说明所计算的垂直包络并不含有正扫描的整个物件的一种情形。如图4B中所示出，物件20'具有以灰色示出的截头锥的一般形状，使得来自相机的接触物件的上部圆形边缘的光线与其侧表面相切。圆柱形包络(通过上部圆形边缘414e中所测量的点到地平面的正交投影形成)形成以深色边缘示出的圆柱体414。在此情况下，圆柱形包络414并不含有整个物件20'。
为解决圆柱形包络并不涵盖整个物件的情形，在本发明的一些实施例中，处理器随着在扫描期间从其它视图(例如，侧视图)收集到较多关于物件20'的信息而更新圆柱形包络414以涵盖整个物件20'。
如上文所论述，在一些情形下，本发明的实施例用于扫描场景而非相对较小物件。图4C说明根据本发明的一个实施例的用以界定圆柱形包络的对场景的初始图像捕获。在图4C中，扫描系统10从侧视图捕获场景(此处为箱子堆叠20″)的图像。在此情况中可使用侧视图，这是因为获得箱子的俯视图是不实际的(例如，这样做可能需要梯子或叉车)。在图4C中示出的实例中，扫描系统10的深度相机的光轴40大体上平行于实际地面(例如，垂直于重力)，但本发明的实施例并不限于此，且深度相机可以任一其它角度定向。为方便起见，在捕获初始图像时，可在离深度相机一定距离处界定垂直于深度相机的光轴40的虚拟背景平面26。因而，包络414可界定为广义圆柱体(在此情况下为矩形棱柱)。以类似于扫描物件的方式，广义圆柱形包络可具有由垂直于端部的表面连接的平行端部414e和414h。
参考图3，在操作306中，评估3D模型的质量，例如在覆盖率和密度方面进行评估。如本文中所使用，形状包络的表面贴片的“覆盖率”是指此贴片由一个或多个相机姿态成像的分辨率。本文中将使用术语形状包络的“全局覆盖率”来表示对象(例如，物件或场景)的表面在扫描过程期间的覆盖程度。由处于一定姿态的相机提供的“增量覆盖率”表示通过从处于一定姿态的相机捕获一个或多个图像而提供的改进(在形状的全局覆盖率方面)，其中“姿态”表示相机的位置和定向两者。
根据本发明的一个实施例，在操作306中，处理器生成各种可能相机姿态的表示(或图)，每一姿态具有相关联的增量覆盖率值。此图预测在从给定姿态捕获额外图像(例如，深度图像)的情况下，对象(例如，物件或场景)的全局覆盖率将改进多少。此图可含有所有可能姿态，或仅含有此类姿态的子集。在提供直接视觉反馈的实施例的情况下，选择待映射的适当姿态子集可简化此信息到用户的呈现。举例来说，以物件为中心的半球体或包围拱顶可表示离物件中心固定距离的可能相机位置集合，其中所有相机朝向物件中心定向。
图5说明根据本发明的一个实施例的使用圆柱形包络的贴片的覆盖率计算。根据本发明的一个实施例，处理器界定包络414的表面(例如，如图5中示出的圆柱体的表面)曲面细分有适当大小的单元或贴片414p。单元的大小可基于3D模型的所要分辨率、深度相机系统的分辨率和深度相机系统的视场而设定。
处理器将每一曲面细分单元指派到索引i，以及指定此单元是否已被深度相机成像的变量(覆盖率Ωi)，和此成像过程发生的分辨率。如果单元尚未由任何相机成像，则覆盖率Ωi为0。(应注意，术语“相机”用于指示任何数目个不同相机，或从多个姿态捕获图像的同一相机。)如果第j相机已成像第i贴片，则我们可将由此相机提供的覆盖率Ωi,j界定为贴片所对的立体角，其中顶点在相机的光学中心处。此角度与相机中看到所述贴片的像素数目成比例：因此对于同一贴片区域，较大角度带来较高成像分辨率。检视方向与贴片法线之间的角度由α表示，相机与贴片之间的距离由R表示，且贴片面积由A表示。容易看出,Ωi,j≈A cosα/R2。这些量在图5中作为实例示出。“覆盖率”的其它定义可包含可影响贴片的深度重建构质量的考虑因素，例如阴影、遮挡和照明效应。如果贴片已由多个相机成像，则记录覆盖率的最大值：Ωi＝maxj{Ωi,j}。
参考图5，从两个相机(相机10-1和相机10-2)予以视觉化圆柱形包络的第i贴片414p。两个相机到贴片的距离分别为R1和R2；到贴片中心的相机视线与贴片中心处的法线502之间的角度为α1和α2；来自相机中心的贴片所对的角度为Ωi,1和Ωi,2。应注意，角度Ωi,1和Ωi,2与每一相机中成像贴片的像素数目成比例(且因此指示贴片414p成像的分辨率。)
因而，已由N个相机成像的包络的全局覆盖率被界定为所有贴片的覆盖率的总和：Ω(N)＝∑iΩi。
物件20的来自新姿态的额外深度图像很可能增大物件20的全局覆盖率。此可能是因为未由先前深度图像中的任一个成像的一些表面贴片被新图像成像；或因为深度图像以更高分辨率捕获一个或多个贴片。由第N+1个相机获得的增量覆盖率定量此概念：ΔΩN+1＝ΩN+1-ΩN。
在操作308中，基于模型质量的评估，系统确定是否应继续扫描或是否存在充分数据以生成良好的3D模型。如上文所论述，增量覆盖率图ΔΩN+1(p)为将可从其获得新视图的每一可能相机姿态p与将通过此新视图提供的增量覆盖率相关联的函数。应注意，姿态p＝(x,O)表示相机系统在捕获时间处的位置x和定向O，且因此表征为六个自由度(例如，位置x的三维坐标和三个定向维度，例如俯仰、偏转和滚动)。增量覆盖率图可用于提供关于将扫描系统10移动到何处以便增大全局覆盖率的指导。
鉴于姿态空间的较大维度(具有六个自由度)，在一些计算上受限的上下文中，计算大体上将每一可能姿态p与增量覆盖率值相关联的完整的增量覆盖率图ΔΩN+1(p)可是昂贵的(在计算成本方面)。另外，可能难以经由直观的用户界面将姿态信息传达给用户。
因而，本发明的一些实施例涉及减少的增量覆盖率图，其表示可能姿态的子集，但仍表示广泛多种姿态。此减少的增量覆盖率图也可易于经由用户界面(例如，显示装置)传达给用户。
根据本发明的一个实施例，参考包围拱顶或半球体建构减少的增量覆盖率图。图6A说明根据本发明的一个实施例的作为包围拱顶或半球体围绕物件的包络的一个实施例。图6B说明根据本发明的一个实施例的作为包围拱顶或半球体围绕场景的一部分的包络的一个实施例。
在本发明的一个实施例中，如图6A中所示出，在扫描地平面上的物件时，由具有平行于地平面24的基底614b的半球体界定包围拱顶614，其中基底的中心与圆柱形包络414在地平面24上的水平区段的点(例如，图心)一致，所述点称为物件地面中心614c。拱顶的半径R被设定成足够大以完全含有圆柱形包络414的值。
类似地，在本发明的实施例中，如图6B中所示出，在扫描场景时，由具有平行于虚拟背景26的基底614b的半球体界定包围拱顶614。
拱顶614中的每一点表示扫描系统10的深度相机的可能姿态p＝(x,O)。具体来说，x为拱顶614上的任一点(且因此为离物件地面中心距离R的任一点)，且O为深度相机的定向，使得相机的光轴与物件地面中心614c相交。以类似于上文关于圆柱形包络414的表面的曲面细分所描述的方式在拱顶的表面上界定曲面细分。在扫描过程期间的每一点处，针对此曲面细分界定增量覆盖率图ΔΩN+1。换句话说，曲面细分中的每一单元表示特定姿态p(例如，深度相机的特定位置x和定向O)且与对应值ΔΩN+1(p)相关联。在一些实施例中，可将增量覆盖率图视觉化为热图。图6C为根据本发明的一个实施例的在包围拱顶上表示的热图的视觉显示。(阴影可用于指示接下来待成像以便改进当前模型的拱顶的一部分，如下文更详细地描述。)因为增量覆盖率图随着从额外姿态捕获对象(例如，物件或场景)的额外图像(例如，深度图像)而得到更新，所以在每次获得新深度图像时重新计算拱顶上的热图。
可仅使用两个参数指定拱顶表面上的点。这表示相比计算具有六个自由度的全增量覆盖率图，在减少的增量覆盖率图中计算热图的操作简单得多。
在操作308中，处理器确定全局覆盖率是否充分高和/或由任何剩余姿态提供的增量覆盖率是否过低(例如，满足阈值)。可基于全增量覆盖率图或减少的增量覆盖率图来计算此值。如果如此，则停止扫描且在操作310中例如通过从所捕获的图像显现最后高质量3D模型而完成模型。也可由用户手动地停止所述过程。如上文所提到，在一些实施例中，在操作310中完成模型的过程包含将一些经部分处理或原始数据传输到远程处理器以生成最终3D模型。在一些实施例中，建立3D模型为执行专用功能(例如计数箱子或估计空置体积，如下文更详细地描述)的过程中的中间阶段。因此，在一些实施例中，操作310进一步包含计算专用功能的结果(例如计算箱子的总计数或计算空间的实际空置体积)。
另一方面，如果分析示出3D扫描将受益于从不同姿态捕获的额外图像，则以操作312继续所述过程。
在操作312中，处理器确定将改进覆盖率的一个或多个姿态，且在操作314中，如由操作312中确定的一个或多个姿态所指导，从新姿态捕获下一图像。在操作316中，基于额外图像更新指导图。
举例来说，在一个实施例中，在操作312中，处理器确定特定姿态具有最高增量覆盖率(如由增量覆盖率图所指示)，并指导扫描传感器将深度相机移动到所述姿态p1并在操作314中从所述姿态捕获图像。(作为实例，这示出为图6C的姿态p1。)这将带来允许在较短时间内达到所期望全局覆盖率水平的“贪婪”扫描策略。(应注意，“将相机移动到姿态p＝(x,O)”表示将相机移动到位置x并通过定向O定向。)出于用户友好性，特定姿态p1可为近似的，从而使得深度相机仅仅“足够接近”位置x(例如，在几厘米内)，且具有足够接近定向O的定向(例如，在几度内)以提供额外增量覆盖率。
然而，本发明的其它实施例可实施不同的扫描策略。举例来说，在给定增量覆盖率图的情况下，处理器可在操作312中自动地确定包含减少或最小化成本函数的一个或多个姿态的路径。在操作314中，图像将随着深度相机沿着路径移动而被获取(例如，随着深度相机移动自动地进行捕获)。可在所获取形状信息(例如，覆盖率)和遵循此路径获取此信息将花费的时间方面界定此成本函数。通过遵循不同的扫描路径可获得相同覆盖率，且不同路径可能需要不同的执行时间，这例如是由于路径长度或路径是否越过已扫描的区域，借此导致过度取样。举例来说，给定路径的成本函数可为完成导致覆盖率高于最小阈值的扫描所花费的时间。可使用路径规划算法计算最佳扫描路径(例如，最小化成本函数的路径)，且可经由适当界面将所述路径显示给用户，或供应为直接通过控制机器人控制的深度相机支架而控制深度相机的路径。
在反馈被提供给用户的本发明的实施例中，在操作312中，可使用扫描系统的屏幕上的适当图形界面表示拱顶上的热图。此屏幕可为手持式装置的部分(例如，在含有深度相机的相同罩壳内，例如在图2A的实施例中，或呈可拆卸形式，如图2B中所示出)，或在外部或是可拆卸的(与扫描器连接的膝上型计算机或台式计算机，例如在图2B的实施例中)。可例如使用不同色彩在所显现半球体的表面上表示热图(例如，如果拱顶上的位置与高增量覆盖率值相关联，则可以红色对其进行着色，如图6C中所示出)。可在此半球体上使用例如清晰的可识别标记物(例如，黑点或相机形状)来指示相机位置。半球体上的着色热图为用于在操作314中引导用户将相机朝向与高增量覆盖率相关联的姿态移动，并从那些姿态捕获图像的用户界面的一个实施例，这是因为具有高增量覆盖率的姿态很可能覆盖物件或场景表面的先前未被覆盖贴片。
本发明的一些实施例涉及根据深度相机的位置改变而更新热图。半径为R的拱顶上的热图可仅向用户提供关于在具有相同半径R的拱顶上的姿态的增量覆盖率的信息。换句话说，用于半径为R的拱顶的图6C的热图仅在如下假定下有效：用户在离物件地面中心614c大体上相同距离R处维持深度相机，相机被定向成使得深度相机面向物件地面中心614c。因而，对计算拱顶时的半径R的选择可对扫描质量具有影响。简单解决方案为将拱顶的半径R选择为等于相机与物件地面中心之间的当前距离。如果相机移动为离物件地面中心较近或较远，则拱顶半径相应地改变且处理器针对新的拱顶计算新的热图。应注意，用户能自由选择接下来将相机移动到何处并如何定向：每次收集到新的深度图像时，更新增量覆盖率图并生成新的热图。举例来说，如果用户将相机移动到具有距离R'≠R的新位置，则针对具有半径R'的拱顶重新生成热图。其它选择是可能的；例如拱顶可始终保持处于固定半径R0。
在本发明的一个实施例中，当在操作314中捕获图像时，处理器确定相机相对于每一图片处的对象(例如，物件或场景)的姿态(例如，位置和定向)。此可通过使用现有技术中熟知的各种方法(例如迭代最近点(ICP)算法)对齐从不同视角所测量的3D点云而获得。用于相机姿态估计的这些方法还可利用附接到相机的惯性测量单元(IMU)，包含加速计和陀螺仪。嵌入于现代智能手机中的微型化惯性传感器类型是便宜且易于获得的。因而，本发明的实施例可在于操作314中捕获图像期间确定深度相机的实际姿态p。
在操作316中，处理器基于额外获取的图像更新指导图。在一些实施例中，处理器也更新包络的形状，包含其大小和位置。
在操作318中，处理器更新物件包络上的覆盖率图，其表示对物件形状的当前大致了解。在一些实施例中，也例如通过使用与当前物件模型对齐的深度数据，增长包络的大小或改变其形状来涵盖先前未由包络涵盖的对象(例如，物件或场景)部分而更新包络的形状。此可提供对表面覆盖率的更准确估计，代价为使用更复杂的包络模型以及更多的表面覆盖率和增量覆盖率计算。
在更新覆盖率图之后，流程返回到操作306，其中评估更新的覆盖率图，且在操作308中，处理器基于更新的覆盖率图确定是否继续扫描。
实例使用情况
如本文中所使用，术语扫描覆盖率的“准确度”和“完整性”可取决于3D扫描的预期应用。举例来说，在涉及估计可用空间体积或计数堆叠中的箱子数目的应用中，扫描系统可能够仅使用场景的关键部分的几个图像执行这些计算，且因此由系统提供的指导将相应地选择几个姿态(例如，提供对关键位置的高增量覆盖率的姿态或用于快速定位关键位置的搜索路径)。作为另一实例，在涉及扫描物件以用于产生详细的3D模型(例如，扫描装饰物件以用于列举在产品页面上)的应用中，可能需要高水平的详细且完整覆盖率，且因此由扫描系统提供的指导可识别大量姿态以便提供对物件的高覆盖率水平。
物品计数，箱子和特定东西
本发明的实施例的一些方面涉及在物流操作中应用将受益于辅助或指导型扫描的扫描系统的方法。在一个应用中，扫描集装架或仓库货架上的较大包装箱堆叠，以便获得集装架或货架的3D表示并用于估计包装箱的配置，其可接着用于获得堆叠中的箱子数目的准确计数，且因此估计例如当前库存、缺失的箱子、错位的箱子等的信息。
举例来说，在一个实施例中，仓库雇员可走到货架，并使用扫描系统以对含有各种各样的箱子的货架执行快速扫描。自动地分析扫描结果以快速查看当前库存或箱子计数，并确定关于缺失的箱子或错位的物品的信息(例如，库存数据库中关于货架的信息与扫描结果之间的不符)。典型的仓库雇员可每天数百到数千次地执行此类扫描，且因此使用指导或辅助型扫描的本发明的实施例为可能接收有限扫描系统训练的仓库雇员提供快速、响应性、可靠且易于使用的扫描系统。由扫描系统提供的指导有助于提供对一堆箱子的准确重建构且还提供最大覆盖率，以便能够有效地处理此数据并获得准确的库存信息。
图7A描绘根据本发明的一个实施例的在扫描过程期间的用户界面，其中以叠加图702指示具有高扫描质量的部分。在一个实施例中，图7A的左侧表示正扫描的场景的实时视图。具有良好覆盖率的场景部分以对角线叠加图指示，而具有不佳覆盖率(例如，高增量覆盖率)的场景部分无叠加图。如所看出，在相比于上方和右侧箱子时，箱子堆叠的左下侧704并不具有良好覆盖率(例如，具有高增量覆盖率或低覆盖率)，借此向用户提供深度相机应移动为成像堆叠的左下部分的指导，以明显增大扫描的增量覆盖率。堆叠的左下部分为场景的一个关键部分，这至少是因为集装架上的箱子数目取决于堆叠的左侧上的箱子数目。场景的其它关键部分包含场景的包含箱子的其它部分。图7B的右侧为在已捕获一个或多个额外图像，借此提供对箱子堆叠的左下部分的覆盖率之后，箱子堆叠的左下部分704的部分的放大视图。
图7B描绘根据本发明的一个实施例的在扫描过程之后用于计数集装架上的箱子数目的用户界面。在捕获箱子的3D扫描(如图7A中所示出)之后，可分析所得3D模型以计数存在的箱子数目。通过作出关于场景的被遮挡部分的假定(即，集装架上的所有箱子的大小大体上相同且被遮挡箱子以相同于其它箱子的方式堆叠)，扫描系统自动地计算出集装架上存在28个箱子。用户界面的右上部分的各种部分的阴影指示对应扫描部分的距离或深度，且数目指示所述扫描部分中的箱子数目。用户界面的左侧示出箱子数目的最后计数，连同指示各种场景部分的深度的阴影。用户界面的右下部分显示来自一个姿态的堆叠图片(例如，彩色照片)。
体积估计
根据涉及物流的本发明的另一实施例，扫描系统10可用于估计一系列输送包装的体积，以比较此所估计体积与委托承载此托运的卡车体积。此信息对于物流公司来说是极有用的，以最大化对其卡车承载能力的使用且因此降低成本。因为此托运的总体积通常相当大，与卡车自身的大小相当，所以用户可能难以在没有来自扫描系统的充分指导的情况下扫描此托运并成功获得准确扫描。
另外，在本发明的一些实施例中，扫描系统可用于估计卡车货舱或船运集装箱内部的可用或空置体积，借此允许用户确定可将多少剩余托运装载到卡车上或集装箱中。
图8A为根据本发明的一个实施例的对卡车货舱内部进行扫描的示意性说明。如图8A中所示出，卡车802可具有部分填充有箱子820的货舱12。用户14可用扫描装置扫描货舱内部以确定可用体积12a。
图8B、8C和8D为根据本发明的一个实施例的对卡车内的可用体积进行计算的示意性说明。如图8B中所示出，通过从804处的开口扫描货舱内部，可基于到箱子820的距离(d)，以及卡车内部的宽度(w)和高度(h)相对简单地计算卡车的可用体积，所述距离以及宽度和高度是基于到可用空间的各种拐角的距离。因而，拐角可被视为场景的关键部分，且扫描系统10可提供指导以识别拐角的位置(例如，选择广泛隔开的姿态直到找到可用体积的拐角为止)。
然而，如图8C中所示出，随着距离(d)变小，由箱子与货舱12的侧壁形成的拐角806可能不在相机的视场(如以白色示出)内。结果，不能从单个姿态捕获侧壁与深度相机的视场边缘之间的体积808(以水平阴影标记)。
如图8D中所示出，通过将深度相机移动到新姿态，可对拐角806成像(例如，在深度相机的视场内进行捕获)，借此允许估计集装箱的宽度(w)且借此允许进行准确的内部扫描。图8D仅仅示出对拐角806中的一个的捕获，且捕获另一拐角将进一步涉及将深度相机移动到另一姿态。
如同上文扫描箱子集装架的使用情况，具有扫描系统可改进扫描过程的效率和准确度，所述扫描系统通过提供特定遵循轨迹以改进或最大化覆盖率和扫描质量同时减少或最小化扫描的总花费时间来辅助且指导用户。
物件扫描
图9A为说明在未使用根据本发明的实施例的辅助型扫描系统情况下执行物件扫描时的扫描错误区域的彩色译码图。图9B为说明在使用根据本发明的实施例的辅助型扫描系统执行物件扫描时的扫描错误区域的彩色译码图。在扫描复杂物件以生成3D模型(例如，以供显示)时，生成所有物件部分的详细模型可能更加重要。
如图9A和9B中所示出，当用户具备根据本发明的实施例的指导时，扫描的准确度得到明显改进。
静态姿态生成
在涉及识别用于静态地布置以成像场景的一部分的多个相机的多个姿态的本发明的实施例中，如上文关于图1C所描述，增量覆盖率图可用于识别用于一定数目k个相机的多个姿态。举例来说，可通过选择增量覆盖率图中具有最高增量覆盖率的姿态p来选择每一姿态。接着可基于此姿态更新增量覆盖率图并选择下一姿态。所述过程继续，直到已识别数目k个姿态为止。在其它实施例中，相机数目并不固定且所述过程继续，直到识别覆盖物件的充分数目个姿态为止。
虽然已结合某些示范性实施例描述本发明，但应理解，本发明不限于所公开的实施例，而相反地，本发明旨在涵盖包含于所附权利要求书和其等效物的精神和范围内的各种修改和等效布置。

Claims (19)

1.一种用于对象的三维扫描的计算机系统，其包括：
处理器；以及
计算机可读媒体，其上储存有可执行指令，所述可执行指令在由所述处理器执行时，配置所述计算机系统进行至少以下操作：
根据对象的一个或多个初始深度图像计算指导图以识别一个或多个下一姿态，所述指导图是通过以下操作计算得到：
基于所述对象的所述一个或多个初始深度图像界定环绕所述对象的包络，所述包络界定环绕所述对象的虚拟表面，而所述包络包括多个贴片，每一贴片对应于多个可能姿态中的至少一个可能姿态，所述多个可能姿态包括所述一个或多个下一姿态，以及
计算多个增量覆盖率值，所述增量覆盖率值中的每一个对应于所述多个贴片中的一个，且所述增量覆盖率值中的每一个表示通过用处于所述贴片中的对应的一个所述贴片的所述至少一个可能姿态的深度相机捕获额外深度图像提供的对所述对象的全局覆盖率的一定量的改进；
提供信息以定位所述深度相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外深度图像；
根据所述一个或多个额外深度图像更新所述指导图；以及
输出由所述深度相机捕获的所述深度图像以生成三维模型。
2.根据权利要求1所述的计算机系统，其中所述深度相机为立体显示深度相机，其包括：
第一相机，其具有具第一光轴的第一视场；以及
第二相机，其与所述第一相机间隔开，且具有重叠所述第一视场的第二视场和大体上平行于所述第一光轴的第二光轴。
3.根据权利要求2所述的计算机系统，其进一步包括与所述深度相机对齐的彩色相机。
4.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统控制显示器向所述计算机系统的用户提供视觉反馈的指令，所述视觉反馈包括所述指导图的所述一个或多个下一姿态的所述增量覆盖率值的图形表示。
5.根据权利要求4所述的计算机系统，其中所述图形表示为围绕所述对象的拱顶，且热图指示所述拱顶的哪些部分对应于所述一个或多个下一姿态，所述热图的值对应于所述增量覆盖率值的值。
6.根据权利要求1所述的计算机系统，其中所述一个或多个下一姿态形成路径。
7.根据权利要求6所述的计算机系统，其中根据增大所述对象的覆盖率并减少扫描时间来选择所述路径。
8.根据权利要求1所述的计算机系统，其中所述指导图为覆盖率图。
9.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统估计集装箱内的可用体积的指令，其中所述对象包括所述集装箱。
10.根据权利要求1所述的计算机系统，其中所述可执行指令包含可执行以配置所述计算机系统基于所述三维模型计数箱子数目的指令，其中所述对象包括所述箱子。
11.一种用于提供指导型扫描的计算机实施方法，所述方法由处理器执行，其包括：
根据对象的一个或多个初始深度图像计算指导图以识别一个或多个下一姿态，所述指导图是通过以下操作计算得到：
基于所述对象的所述一个或多个初始深度图像界定环绕所述对象的包络，
所述包络界定环绕所述对象的虚拟表面，而所述包络包括多个贴片，每一贴片对应于多个可能姿态中的至少一个可能姿态，所述多个可能姿态包括所述一个或多个下一姿态，以及
计算多个增量覆盖率值，所述增量覆盖率值中的每一个对应于所述多个贴片中的一个，且所述增量覆盖率值中的每一个表示通过用处于所述贴片中的对应的一个所述贴片的所述至少一个可能姿态的深度相机捕获额外深度图像提供的对所述对象的全局覆盖率的一定量的改进；
提供信息以定位所述深度相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外深度图像；
根据所述一个或多个额外深度图像更新所述指导图；以及
输出由所述深度相机捕获的所述深度图像以生成三维模型。
12.根据权利要求11所述的计算机实施方法，其中所述深度相机为立体显示深度相机，其包括：
第一相机，其具有具第一光轴的第一视场；以及
第二相机，其与所述第一相机间隔开，且具有重叠所述第一视场的第二视场和大体上平行于所述第一光轴的第二光轴。
13.根据权利要求11所述的计算机实施方法，其进一步包括通过显示器将视觉反馈提供给用户，所述视觉反馈包括所述指导图的所述一个或多个下一姿态的所述增量覆盖率值的图形表示。
14.根据权利要求13所述的计算机实施方法，其中所述图形表示为围绕所述对象的拱顶，且热图指示所述拱顶的哪些部分对应于所述一个或多个下一姿态，所述热图的值对应于所述增量覆盖率值的值。
15.根据权利要求11所述的计算机实施方法，其中所述一个或多个下一姿态形成路径。
16.根据权利要求15所述的计算机实施方法，其中根据增大所述对象的覆盖率并减少扫描时间来选择所述路径。
17.根据权利要求11所述的计算机实施方法，其中：
所述对象为集装箱，
所述方法进一步包括基于所述三维模型估计所述集装箱的可用体积，且
所述指导图识别所述一个或多个下一姿态以定位所述可用体积的拐角。
18.根据权利要求11所述的计算机实施方法，其中：
所述对象为箱子堆叠，
所述方法进一步包括基于所述三维模型计数箱子数目，且
所述指导图识别所述一个或多个下一姿态以识别具有低覆盖率的箱子。
19.一种计算机可读媒体，其包括实体计算机可读储存媒体，其上储存有计算机可执行指令，所述计算机可执行指令当在处理器上执行时，致使计算机系统进行用以提供指导扫描的方法，所述方法由处理器执行，其包括：
根据对象的一个或多个初始深度图像计算指导图以识别一个或多个下一姿态，所述指导图是通过以下操作计算得到：
基于所述对象的所述一个或多个初始图像界定环绕所述对象的包络，所述包络界定环绕所述对象的虚拟表面，而所述包络包括多个贴片，每一贴片对应于多个可能姿态中的至少一个可能姿态，所述多个可能姿态包括所述一个或多个下一姿态，以及
计算多个增量覆盖率值，所述增量覆盖率值中的每一个对应于所述多个贴片中的一个，且所述增量覆盖率值中的每一个表示通过用处于所述贴片中的对应的一个所述贴片的所述至少一个可能姿态的深度相机捕获额外图像提供的对所述对象的全局覆盖率的一定量的改进；
提供信息以定位所述深度相机从所述一个或多个下一姿态中的至少一个捕获一个或多个额外深度图像；
根据所述一个或多个额外深度图像更新所述指导图；以及
输出由所述深度相机捕获的所述深度图像以生成三维模型。
CN202110779252.9A 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法 Active CN113532326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779252.9A CN113532326B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662301603P 2016-02-29 2016-02-29
US62/301,603 2016-02-29
CN202110779252.9A CN113532326B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法
PCT/US2017/020028 WO2017151669A1 (en) 2016-02-29 2017-02-28 System and method for assisted 3d scanning
CN201780025636.3A CN109069132B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780025636.3A Division CN109069132B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法

Publications (2)

Publication Number Publication Date
CN113532326A CN113532326A (zh) 2021-10-22
CN113532326B true CN113532326B (zh) 2023-11-21

Family

ID=59680189

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780025636.3A Active CN109069132B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法
CN202110779252.9A Active CN113532326B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780025636.3A Active CN109069132B (zh) 2016-02-29 2017-02-28 用于辅助型3d扫描的系统和方法

Country Status (5)

Country Link
US (1) US9912862B2 (zh)
EP (1) EP3422955B1 (zh)
JP (1) JP6836042B2 (zh)
CN (2) CN109069132B (zh)
WO (1) WO2017151669A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
KR101679398B1 (ko) * 2015-08-10 2016-11-28 김제형 3차원 스튜디오 시스템
US10572883B2 (en) 2016-02-19 2020-02-25 Alitheon, Inc. Preserving a level of confidence of authenticity of an object
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
US10156665B2 (en) * 2016-06-01 2018-12-18 Microsoft Technology Licensing, Llc Infrared cut-off filter
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
US10315866B2 (en) * 2016-10-20 2019-06-11 Intelligrated Headquarters, Llc 3D-2D vision system for robotic carton unloading
US10597235B2 (en) 2016-10-20 2020-03-24 Intelligrated Headquarters, Llc Carton unloader tool for jam recovery
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
US10894676B2 (en) * 2017-07-17 2021-01-19 Symbolic Llc Apparatus and method for building a pallet load
WO2019075276A1 (en) 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
US10713839B1 (en) 2017-10-24 2020-07-14 State Farm Mutual Automobile Insurance Company Virtual vehicle generation by multi-spectrum scanning
US10699404B1 (en) * 2017-11-22 2020-06-30 State Farm Mutual Automobile Insurance Company Guided vehicle capture for virtual model generation
US11873195B2 (en) * 2017-11-24 2024-01-16 Tmeic Corporation Methods and systems for generating landing solutions for containers on landing surfaces
CN108981563B (zh) * 2017-11-30 2021-02-26 成都通甲优博科技有限责任公司 体积测量方法、装置及系统
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
CA3125730C (en) 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing
US11087013B2 (en) 2018-01-22 2021-08-10 Alitheon, Inc. Secure digital fingerprint key object database
FR3078428B1 (fr) * 2018-02-28 2021-05-28 Fm Logistic Corp Procede de suivi volumetrique de palettes chargees d’articles empiles dans un conteneur et systeme de detection pour sa mise en œuvre
US10521962B1 (en) 2018-03-08 2019-12-31 State Farm Mutual Automobile Insurance Company Method and system for visualizing overlays in virtual environments
US10970923B1 (en) 2018-03-13 2021-04-06 State Farm Mutual Automobile Insurance Company Method and system for virtual area visualization
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
US10732001B1 (en) 2018-04-06 2020-08-04 State Farm Mutual Automobile Insurance Company Methods and systems for response vehicle deployment
CN108527940B (zh) * 2018-04-12 2020-01-21 曹芸畅 一种包装盒的制造方法
US10832476B1 (en) 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
DE102018006765B4 (de) * 2018-08-27 2021-02-25 Daimler Ag Verfahren und system(e) für das management von frachtfahrzeugen
EP3859269B1 (en) * 2018-09-28 2023-05-03 Panasonic Intellectual Property Management Co., Ltd. Measurement device and measurement method
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN113196004A (zh) * 2018-11-14 2021-07-30 日本电气株式会社 信息处理系统、信息处理方法和记录介质
JP7458405B2 (ja) * 2018-12-20 2024-03-29 パックサイズ リミティド ライアビリティ カンパニー 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法
CN113272874A (zh) * 2019-01-08 2021-08-17 惠普发展公司，有限责任合伙企业 基于模拟的捕获系统调整
CN109636297B (zh) * 2019-01-26 2021-08-24 尊享汇(北京)品牌管理有限公司 一种基于通过性的仓库货物整理方法及其系统
MX2021009226A (es) 2019-02-05 2021-11-12 Artec Europe S A R L Generacion de modelos de textura con un escaner movil.
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
JP7204522B2 (ja) * 2019-02-20 2023-01-16 三菱電機株式会社 情報処理装置、空気調和機コントローラ、携帯装置、及び生成制御方法
CN109916301B (zh) * 2019-03-27 2021-03-16 青岛小鸟看看科技有限公司 一种体积测量方法和深度相机模组
EP3736717A1 (en) 2019-05-10 2020-11-11 Alitheon, Inc. Loop chain digital fingerprint method and system
US11688030B2 (en) * 2019-06-12 2023-06-27 Frito-Lay North America, Inc. Shading topography imaging for robotic unloading
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
GB2593126A (en) * 2019-08-29 2021-09-22 Alexander Lang Gordon 3D Pose capture system
JP7323170B2 (ja) * 2019-09-30 2023-08-08 日本電気通信システム株式会社 積載容積率計測装置、システム、方法、及び、プログラム
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
US11238146B2 (en) 2019-10-17 2022-02-01 Alitheon, Inc. Securing composite objects using digital fingerprints
US10964109B1 (en) * 2019-10-23 2021-03-30 Lenflash.Com, Corp. Method for creating an exact digital replica of a vehicle
EP3859603A1 (en) 2020-01-28 2021-08-04 Alitheon, Inc. Depth-based digital fingerprinting
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
US20230119162A1 (en) * 2020-03-02 2023-04-20 Apple Inc. Systems and methods for processing scanned objects
CN111429565B (zh) * 2020-03-18 2021-04-06 中国民航科学技术研究院 一种民航客机机身表面三维数据采集管理系统及方法
TWI755697B (zh) * 2020-03-19 2022-02-21 澔鴻科技股份有限公司 倉儲與貨運用的飛時測距辨識系統及其辨識方法
EP3885984A1 (en) 2020-03-23 2021-09-29 Alitheon, Inc. Facial biometrics system and method of using digital fingerprints
US11341348B2 (en) 2020-03-23 2022-05-24 Alitheon, Inc. Hand biometrics system and method using digital fingerprints
US11948377B2 (en) 2020-04-06 2024-04-02 Alitheon, Inc. Local encoding of intrinsic authentication data
US11663849B1 (en) 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
US11983957B2 (en) 2020-05-28 2024-05-14 Alitheon, Inc. Irreversible digital fingerprints for preserving object security
US11700123B2 (en) 2020-06-17 2023-07-11 Alitheon, Inc. Asset-backed digital security tokens
US11614319B2 (en) * 2020-06-26 2023-03-28 Faro Technologies, Inc. User interface for three-dimensional measurement device
CN112581598B (zh) * 2020-12-04 2022-08-30 深圳市慧鲤科技有限公司 三维模型构建方法、装置、设备及存储介质
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
US11551366B2 (en) * 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy
US20220414988A1 (en) * 2021-06-28 2022-12-29 Microsoft Technology Licensing, Llc Guidance system for the creation of spatial anchors for all users, including those who are blind or low vision
CN113456106B (zh) * 2021-08-03 2023-11-21 无锡祥生医疗科技股份有限公司 颈动脉扫查方法、装置和计算机可读存储介质
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN114451830B (zh) * 2022-03-17 2023-06-16 上海飞博激光科技股份有限公司 激光清洗玻璃幕墙装置及其清洗方法
CN117499547A (zh) * 2023-12-29 2024-02-02 先临三维科技股份有限公司 自动化三维扫描方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014172484A1 (en) * 2013-04-16 2014-10-23 DotProduct LLC Handheld portable optical scanner and method of using
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
CN1251157C (zh) * 2002-12-27 2006-04-12 中国科学院自动化研究所 基于主动视觉的物体三维模型快速获取方法
CN1567384A (zh) * 2003-06-27 2005-01-19 史中超 三维空间物体图像获取、数字化测量及重建方法和设备
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8284240B2 (en) 2008-08-06 2012-10-09 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8683387B2 (en) * 2010-03-03 2014-03-25 Cast Group Of Companies Inc. System and method for visualizing virtual objects on a mobile device
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101777854B1 (ko) * 2010-12-21 2017-09-13 한국전자통신연구원 깊이감 조절 방법과 장치, 이를 구비하는 단말기 및 그 동작 방법
TWI476403B (zh) * 2011-04-22 2015-03-11 Pai Chi Li 超音波自動掃描系統及其掃描方法
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
DE102012215496B4 (de) * 2012-08-31 2022-07-14 Siemens Healthcare Gmbh Verfahren zur automatischen Positionierung eines Aufnahmesystems eines Röntgengerätes und Röntgengerät
US20140132729A1 (en) * 2012-11-15 2014-05-15 Cybernet Systems Corporation Method and apparatus for camera-based 3d flaw tracking system
US8705893B1 (en) * 2013-03-14 2014-04-22 Palo Alto Research Center Incorporated Apparatus and method for creating floor plans
CN103698761B (zh) * 2013-12-06 2016-01-20 桂林电子科技大学 一种基于椭球切点包络面的雷达三维成像方法及系统
US9299195B2 (en) * 2014-03-25 2016-03-29 Cisco Technology, Inc. Scanning and tracking dynamic objects with depth cameras
EP3696774A1 (en) * 2014-05-12 2020-08-19 ML Netherlands C.V. Method and apparatus for scanning a 3d object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
WO2014172484A1 (en) * 2013-04-16 2014-10-23 DotProduct LLC Handheld portable optical scanner and method of using

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A new next best view method for 3D modeling of unknown objects;Singh mahesh kr et al;《2015 third international conference on image information processing(ICIIP), IEEE》;20150921;第516-519页 *
View planning for 3D object reconstruction;Vasquez-gomez jie et al;《Intelligent robots and systems, 2009, IROS 2009,IEEE/RSJ International conference on Intelligent Robots and Systems, IEEE》;20091010;第4015-4020页 *

Also Published As

Publication number Publication date
CN113532326A (zh) 2021-10-22
US20170251143A1 (en) 2017-08-31
US9912862B2 (en) 2018-03-06
JP2019514240A (ja) 2019-05-30
EP3422955A1 (en) 2019-01-09
WO2017151669A1 (en) 2017-09-08
EP3422955B1 (en) 2023-10-18
CN109069132A (zh) 2018-12-21
EP3422955A4 (en) 2019-08-07
CN109069132B (zh) 2021-07-13
JP6836042B2 (ja) 2021-02-24

Similar Documents

Publication Publication Date Title
CN113532326B (zh) 用于辅助型3d扫描的系统和方法
US11709046B2 (en) Systems and methods for volumetric sizing
US12010431B2 (en) Systems and methods for multi-camera placement
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US20230410276A1 (en) Systems and methods for object dimensioning based on partial visual information
US10085011B2 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US11481915B2 (en) Systems and methods for three-dimensional data acquisition and processing under timing constraints
US20170372527A1 (en) Systems and methods for scanning three-dimensional objects
US9772405B2 (en) Backfilling clouds of 3D coordinates
EP3373251A1 (en) Scan colorization with an uncalibrated camera
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US20140307100A1 (en) Orthographic image capture system
EP2305358B1 (en) Portable type game device and method for controlling portable type game device
US20190017812A1 (en) Detection device, detection system, detection method, and storage medium
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
US9715620B2 (en) Method to position a parallelepiped bounded scanning volume around a person
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
US20240137480A1 (en) Information processing apparatus, information processing method, and display device
CN116416315A (zh) 一种外参标定方法及控制设备
JP2014215138A (ja) 位置検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant