CN108779980B - 使用数字图像和深度数据确定尺寸的设备和方法 - Google Patents

使用数字图像和深度数据确定尺寸的设备和方法 Download PDF

Info

Publication number
CN108779980B
CN108779980B CN201680083530.4A CN201680083530A CN108779980B CN 108779980 B CN108779980 B CN 108779980B CN 201680083530 A CN201680083530 A CN 201680083530A CN 108779980 B CN108779980 B CN 108779980B
Authority
CN
China
Prior art keywords
segments
digital image
shape
depth data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680083530.4A
Other languages
English (en)
Other versions
CN108779980A (zh
Inventor
S·佐罗托夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Symbol Technologies LLC
Original Assignee
Symbol Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Symbol Technologies LLC filed Critical Symbol Technologies LLC
Publication of CN108779980A publication Critical patent/CN108779980A/zh
Application granted granted Critical
Publication of CN108779980B publication Critical patent/CN108779980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种使用数字图像和深度数据确定尺寸的设备和方法。该设备包括相机和深度感测设备，它们的视场通常重叠。识别属于在来自相机的数字图像中识别的对象的形状的片段。基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联。一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。

Description

使用数字图像和深度数据确定尺寸的设备和方法
背景技术
数字相机通常用于移动设备。深度感测相机通常不用于移动设备；然而，深度感测相机(诸如飞行时间相机、结构光相机、立体相机)可用于测量对象尺寸。然而，利用深度感测相机测量对象尺寸可能需要高质量和/或昂贵的部件来递送高精度数据以与普通标尺测量竞争。此外，这种深度感测相机中的许多具有固有的问题。例如，使用结构光的深度感测相机会受到环境光的干扰；此外，它们的精度随着到要确定尺寸的物理对象的距离而下降；并且需要ASIC(专用集成电路)以从所获取的许多结构光图像计算深度数据。此外，立体相机可能需要重要的基线以用于准确测量，然后该测量受到低光衰减；并且图像对应问题可能必需硬件加速。飞行时间相机可能受到噪声、反射和光干扰；此外，准确的确定尺寸测量可能需要被测量的物理对象的精确角落，并且飞行时间可能进一步提供在物理对象的边缘处的较差结果。
附图说明
附图(其中相同的附图标记在全部单独的视图中指示相同的或功能类似的要素)连同下面的详细描述被包括于此并形成说明书的一部分，并用来进一步图示本文描述的概念的实现，以及解释那些实现的各种原理和优势。
图1描绘了根据一些实现的用于使用数字图像和深度数据确定尺寸(dimension)的混合设备的前视图和后视图。
图2描绘了根据一些实现的图1的设备的示意性框图。
图3是根据一些实现的使用数字图像和深度数据确定尺寸的方法的流程图。
图4描绘了根据一些实现的图2的获取物理对象的数字图像和深度数据的设备。
图5描绘了根据一些实现的在图4中获取的数据的处理的示例。
图6描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。
图7描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。
图8描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。
图9描绘了根据一些实现的图1的渲染(render)物理对象的数字图像及其尺寸的设备。
图10是根据一些实现的使用数字图像和深度数据确定尺寸的方法的流程图。
本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按比例绘制。例如，附图中的要素中的一些要素的尺寸可相对于其他要素被放大以帮助改善对本发明实现的理解。
已在附图中通过常规符号在适当位置对装置和方法构成进行了表示，所述表示仅示出与理解本发明的实现有关的那些特定细节以免因得益于本文的描述将对本领域技术人员显而易见的细节而混淆本公开。
具体实施方式
本说明书的一个方面提供一种设备，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，被配置为用于：确定属于在数字图像中识别的对象的形状的片段(segment)；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。
确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：识别属于在数字图像中识别的对象的形状的相邻片段；以及，比较相邻片段的相应的深度数据的至少一部分。
确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：迭代通过片段中的所有相邻片段以确定相邻片段是否可以被连接成相同形状的较大的超片段(super-segment)。
确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：基于相应的深度数据确定相邻片段是否与相同形状共同定位。
确定尺寸处理器还可以被配置为滤出与该对象不相关联的识别的形状和识别的片段中的一个或多个。
该设备还可以包括显示设备，并且所述确定尺寸处理器还可以被配置为控制该显示设备用于以下中的一个或多个：渲染该数字图像；识别数字图像中的对象；以及渲染对象的尺寸。
该设备还可以包括存储定义对象的数据的存储器，并且确定尺寸处理器还可以被配置为：通过将数字图像与定义对象的数据进行比较来识别数字图像中的对象。定义对象的数据可以存储在存储器中的容器(container)中，容器是存储在存储器中的多个容器之一，该多个容器中的每个定义相应的对象。定义对象的数据可以包括对象的立体度量(stereometric)性质，该立体度量性质包括在三维中唯一地表征对象的对象的定量描述和定性描述中的一个或多个的集合。
确定尺寸处理器还可以被配置为基于数字图像中和深度数据中的对象的片段的相对位置来确定对象的几何形状。
形状中的每个可包括以下中的一个或多个：图元(primitive)形状、平面、三角形、正方形、矩形、圆形、球形和多边形。
确定尺寸处理器还可以被配置为预处理数字图像用于以下中的一个或多个：对图像噪声进行滤波；检测对象的边缘；对颜色分段；确定数字图像中的形态特征；以及确定数字图像中的线的取向。
确定尺寸处理器还可以被配置为预处理深度数据用于以下中的一个或多个：校正失真；校正干扰；对噪声滤波；以及将深度数据转换为点云数据格式。
相机设备可以包括RGB(红-绿-蓝)数字相机。
深度感测设备可包括以下中的一个或多个：结构光相机、飞行时间相机、立体视觉相机、主动立体视觉相机、被动立体视觉相机、立体影像相机和LIDAR(光检测和测距)设备。
本说明书的另一个方面提供一种方法，包括：在设备处，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，在确定尺寸处理器处确定属于在数字图像中识别的对象的形状的片段；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，在确定尺寸处理器处确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就在确定尺寸处理器处基于相应的深度数据和形状的相应的关联来计算对象的尺寸。
确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：识别属于在数字图像中识别的对象的形状的相邻片段；以及，比较相邻片段的相应的深度数据的至少一部分。
确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：迭代通过片段中的所有相邻片段以确定相邻片段是否可以被连接成相同形状的较大的超片段。
确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：基于相应的深度数据确定相邻片段是否与相同形状共同定位。
该方法还可以包括滤出与该对象不相关联的识别的形状和识别的片段中的一个或多个。
该方法还可以包括显示设备，并且该方法还可以包括控制该显示设备用于以下中的一个或多个：渲染该数字图像；识别数字图像中的对象；以及渲染对象的尺寸。
该方法还可以包括存储定义对象的数据的存储器，并且该方法还可以包括：通过将数字图像与定义对象的数据进行比较来识别数字图像中的对象。定义对象的数据可以存储在存储器中的容器中，容器是存储在存储器中的多个容器之一，该多个容器中的每个定义相应的对象。定义对象的数据可以包括对象的立体度量性质，该立体度量性质包括在三维中唯一地表征对象的对象的定量描述和定性描述的中一个或多个的集合。
该方法还可以包括基于数字图像中和深度数据中的对象的片段的相对位置来确定对象的几何形状。
形状中的每个可包括以下中的一个或多个：图元形状、平面、三角形、正方形、矩形、圆形、球形和多边形。
该方法还可以包括预处理数字图像用于以下中的一个或多个：对图像噪声进行滤波；检测对象的边缘；对颜色分段；确定数字图像中的形态特征；以及确定数字图像中的线的取向。
该方法还可以包括预处理深度数据用于以下中的一个或多个：校正失真；校正干扰；对噪声滤波；以及将深度数据转换为点云数据格式。
相机设备可以包括RGB(红-绿-蓝)数字相机。
深度感测设备可包括以下中的一个或多个：结构光相机、飞行时间相机、立体视觉相机、主动立体视觉相机、被动立体视觉相机、立体影像相机和LIDAR(光检测和测距)设备。
本说明书的又另一方面提供了一种存储计算机程序的非瞬态性计算机可读介质，其中该计算机程序的执行用于：在设备处，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，在确定尺寸处理器处确定属于在数字图像中识别的对象的形状的片段；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，在确定尺寸处理器处确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就在确定尺寸处理器处基于相应的深度数据和形状的相应的关联来计算对象的尺寸。
图1描绘了确定尺寸设备101的后透视图1-I和前透视图1-II；图2描绘了设备101的示意框图。参考图1和图2两者，确定尺寸设备101包括：相机设备103，被配置为获取视场中的数字图像；深度感测设备105，被配置为获取跨相机设备103的视场的至少一部分的深度数据；以及，确定尺寸处理器120，被配置为用于：确定属于在数字图像中识别的对象的形状的片段；基于来自深度感测设备105的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联；并且，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。相机设备103在下文中将可互换地称为相机103；且确定尺寸处理器120在下文中将可互换地称为确定尺寸处理器120。
如描绘的，设备101还包括存储器122、通信接口124(可互换地称为接口124)、显示设备126、至少一个输入设备128、扬声器132和麦克风134。
现在将更详细地描述设备101及其部件。
设备101可以包括专门配置用于对象确定尺寸的计算设备，包括但不限于图形处理单元(GPU)、图形处理设备、图形处理引擎、视频处理设备等。实际上，设备101可以是任何类型的电子设备，其可以以独立的方式被使用以分别使用相机103和深度感测设备105来获取图像和深度数据，以便对相机103和深度感测设备105的视场中的对象确定尺寸。
设备101可以包括但不限于电子设备、通信设备、计算设备、个人计算机、膝上型计算机、便携式电子设备、移动计算设备、便携式计算设备、平板计算设备、膝上型计算设备、桌面电话、电话、PDA(个人数字助理)、手机、智能电话、电子阅读器、支持因特网的装置、移动相机设备和专门配置用于确定对象尺寸的类似物的任何合适组合。其他合适的设备在本实现的范围内。例如，设备101不需要包括移动通信设备，而是可以包括具有专用功能的设备，例如具有仓库库存跟踪和/或其他数据获取功能的设备，诸如具有射频识别(RFID)读取器、近场通信(NFC)读取器、成像器和/或基于激光的扫描仪数据采集部件中的一个或多个的移动扫描仪。
虽然在图1中描绘了设备101的特定物理配置，但是设备101的其他物理配置也在本实现的范围内。例如，设备101还可以包括一个或多个手柄，诸如显示器126下方的手柄，以及用于触发数据采集部件等的触发器。
相机103可以包括数字相机、RGB(红-绿-蓝)数字相机等，其被配置为获取数字图像，包括但不限于视频流中的图像。虽然未描绘相机103的细节，但是假设相机103包括用于获取数字图像的部件(包括但不限于相应的电荷耦合器件(CCD)等)，以及相应的透镜、相应的聚焦设备(包括但不限于音圈等)等。因此，来自相机103的数据通常包括二维数据，并且特别地二维阵列的值，其可以包括二维颜色坐标和/或亮度坐标的阵列。
深度感测设备105可包括结构光相机、飞行时间相机、立体视觉相机、主动立体视觉相机(其可以投射其自身的光，包括但不限于红外光)、被动立体视觉相机(其依赖于环境光)、立体影像(stereoscopic)相机和LIDAR(光检测和测距)设备中的一个或多个。然而，其他深度感测设备在本实现的范围内。在一些实现中，深度感测设备105可以包括一对相机，其可以包括相机103，该对相机形成立体视觉相机和/或立体影像相机。当深度感测设备105包括结构光相机时，深度感测设备105可包括配置成投射结构光的设备和相机，该相机可包括配置成捕获由结构光照射的物理对象的图像的相机103。当深度感测设备105包括飞行时间(ToF)相机或LIDAR设备时，深度感测设备105包括用于植入这种功能的部件。此外，深度感测设备105可以包括用于获取跨视场的深度数据的部件(该部件包括但不限于相应的电荷耦合器件(CCD)等)，以及相应的透镜和相应的聚焦设备(包括但不限于音圈等)。
深度感测设备105被配置为感测跨视场的深度，使得可以确定从深度感测设备105到物理对象的表面的距离。特别地，可以处理来自深度感测设备105的深度数据以产生深度感测设备105的视场的三维图，然而这样的处理以产生深度感测设备105的视场的三维图可以通过本实现来避免。因此，来自深度感测设备105的数据可以被称为三维数据，并且可以包括深度坐标的二维阵列(即，二维阵列中的每个元素与对应的深度相关联)。
因此，来自深度感测设备105的深度数据通常表示从深度感测设备105到深度感测设备105的视场中的对象的部分的距离。在一些实现中，深度数据可以包括和/或被转换为“真实世界坐标”，其可以包括所选参考系和/或给定参考系中的三维坐标；在一些实现中，这样的参考系可以是相对于深度感测设备105(例如，深度感测设备105可以包括参考系的原点)，而在其他实现中，这样的参考系可以是相对于固定坐标，例如使用全球定位系统(GPS)设备确定的仓库中的点和/或地理坐标。在后面的实现中，设备101可以包括GPS设备，并且可以相对于关于GPS数据定义的原点来确定来自深度感测设备105的深度数据的坐标。
如图1所描绘，相机103和深度感测设备105中的每个的外部部件可以位于设备101的后侧，并且可以在设备101的前侧看见显示设备126，使得可以在设备101的后侧捕获数字图像和深度数据。换句话说，相机103和深度感测设备105中的每个的视场重叠，因为两个设备103、105都设置在设备101的后侧。然而，设备103、105两者不需要设置在设备101的相同侧，只要设备103、105中的每个的视场重叠使得由确定尺寸设备101要确定尺寸的对象是在设备103、105中的每个设备的视场中。
此外，还如图1中所描绘，相机103和深度感测设备105中的每个的图像捕获部件和/或数据捕获部件(诸如透镜等)可以被分开给定距离，使得来自相机103的图像和来自深度感测设备105的深度数据通常跨类似的视场成像和/或感测深度。换句话说，相机103和深度感测设备105的相应视场通常重叠，并且实际上，在一些实现中，相机103和深度感测设备105中的每个的透镜等尽可能地靠近在一起以便降低其间的视差并确保可以对于由相机103成像的对象捕获深度数据。
应当理解，图1和图2中的每个图中的相机103和深度感测设备105中的每个的位置仅仅是示意性的，并不一定代表相机103和深度感测设备105中的每个的实际相对位置；换句话说，在图1中，虽然相机103和深度感测设备105中的每个被描绘为跨设备101的横向纵向并排，但是相机103和深度感测设备105中的每个可以位于设备101上的任何位置，假设它们的视场至少部分地重叠，使得它们各自的视场中的物理对象既可以由相机103成像也可以由深度感测设备105感测。
在理想的设备中，相机103和深度感测设备105将占据空间中的相同点，使得它们的相应的视场将是相同的；然而，由于这是不实际的，一种实现包括RGB相机(例如相机103)和ToF相机。此外，这样的配置导致对相应的数字图像和深度数据进行预处理以便使对应的区域和/或像素对齐，以尝试最小化“像素阴影”和“暗区域”。例如，由于相机103和深度感测设备105之间的视点中的视差，在对象在它们的视场中的布置的一些情况下，对相机103可见的区域对于深度感测设备105是不可见的，反之亦然。这可以导致：对于存在深度数据的区域中缺少图像数据；和/或对于存在图像数据的区域中缺少深度数据。这些区域可以被称为“暗”，因为通常难以将它们与任何片段相关联。因此，较大的“暗区域”可以扭曲正在使用本文描述的技术处理的数据，所以在这样的实现中期望相机103和深度感测设备105的最接近的可能的共同位置。
确定尺寸处理器120可包括处理器和/或多个处理器，包括但不限于一个或多个中央处理器(CPU)和/或一个或多个处理单元和/或一个或多个图形处理单元(GPU)；无论哪种方式，确定尺寸处理器120包括硬件元件和/或硬件处理器。实际上，在一些实现中，确定尺寸处理器120可以包括特别地配置为实现设备101的功能的ASIC(专用集成电路)和/或FPGA(现场可编程门阵列)。因此，设备101优选地不是通用计算设备，而是特别地配置为实现特定功能的设备，包括使用数字图像和深度数据确定尺寸，如下面进一步详细描述。例如，设备101和/或确定尺寸处理器120可以特别地包括计算机可执行引擎，该计算机可执行引擎被配置为使用数字图像和深度数据来对相机103和深度感测设备105的视场中的对象进行确定尺寸。
存储器122可以包括非易失性存储单元(例如，可擦除电子可编程只读存储器(“EEPROM”)、闪存)和易失性存储单元(例如，随机存取存储器(“RAM”))。实现如本文所述的设备101的功能性教导的编程指令通常持久地保持在存储器122中并由确定尺寸处理器120使用，确定尺寸处理器120在执行这样的编程指令期间适当地利用易失性存储器。本领域技术人员认识到，存储器122是可以存储在确定尺寸处理器120上可执行的编程指令的计算机可读介质的示例。此外，存储器122也是存储器单元和/或存储器模块和/或非易失性存储器的示例。
具体地，存储器122可以存储应用136，当由确定尺寸处理器120执行时应用136使得确定尺寸处理器120能够用于：确定属于在数字图像中识别的对象的形状的片段；基于来自深度感测设备105的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联；并且，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。
如描绘的，存储器122还存储定义对象的数据140，例如由相机103获取的数字图像中的对象；因此，确定尺寸处理器120可以进一步配置成：通过将数字图像与定义对象的数据140进行比较来识别数字图像中的对象。例如，定义对象的数据140可以存储在存储器122中的容器141中；在这些实现中的一些实现中，如所描绘的，容器141可以是存储在存储器122中的多个容器141-n中的一个容器，该多个容器141-n中的每个定义例如在存储在其中的相应的数据140-n中的相应的对象。
在一些实现中，定义对象的数据140、140-n可以包括对象的立体度量性质，立体度量性质包括对象的定量描述和定性描述中的一个或多个的集合，其在三维中唯一地表征对象(即，将数字图像和深度数据中表示的对象与正被成像的物理对象关联)。
定性描述可以包括可以在对象(和/或目标)描述算法中使用的一组或多组规则。例如，当目标对象具有直线时(如在盒子的情况下)，片段提取算法可以包括但不限于使用概率霍夫(Hough)变换来分析线以及描绘对象片段轮廓。
定量描述可以包括可以描述对象的数值表达的一组或多组参数。例如，当目标对象具有直角(如在盒子的情况下)时，可以使用片段提取算法，该片段提取算法指示90度作为用于对图像中的线关系进行分类的主篮(primary basket)。
例如，平面可以由以下中的一个或多个来表征：三维法向量，其长度是距参考系的中心的距离；和/或作为无边界连续三维对象，其中任意四个点属于四边形。实际上，可以在数据140、140-n中定义对象的任何描述，假设这样的描述区别地定义了对象并且被配置为与本文描述的方法和过程一起使用。
虽然在图1中描绘了数据的“n”个容器，但是可理解，任意数量的数据的容器可以被存储在存储器122中(和/或可理解，也可以在没有容器的情况下存储数据)。具体地，存储器122可以预先配置有存储要确定尺寸的一个或多个对象的定义的数据140；例如，在仓库应用中，可以假设盒子要被确定尺寸，因此数据140可以定义盒子(例如，具有以大约90°角连接的六个边的对象)。然而，可以通过数据140-n来定义要被确定尺寸的其他类型的对象，包括比盒子具有更复杂形状的对象。在任何情况下，在下文中将假设盒子要被确定尺寸，且数据140定义盒子。
确定尺寸处理器120还可以被配置为与显示设备126通信，显示设备126包括平板显示器(例如，LCD(液晶显示器)、等离子显示器、OLED(有机发光二极管)显示器、电容式或电阻式触摸屏、CRT(阴极射线管)等中的任何合适的一种或组合。具体地，确定尺寸处理器120可以被配置为控制显示设备126用于以下中的一个或多个：渲染来自相机103的数字图像；识别数字图像中的对象；以及渲染对象的尺寸，假设已经确定了这些尺寸，如下面进一步详细描述的。
设备101通常包括至少一个输入设备128，该至少一个输入设备128被配置为接收输入数据，并且可以包括输入设备的任何合适的组合，包括但不限于键盘、小键盘、指示设备、鼠标、轨道轮、轨迹球、触摸板、触摸屏(例如，与显示设备126集成)等。其他合适的输入设备在本实现的范围内。在一些实现中，输入设备128和显示设备126中的一个或多个可以在设备101外部，其中确定尺寸处理器120经由合适的连接和/或链接与任何外部部件通信。
如所描绘的，设备101还包括任选的扬声器132和任选的麦克风134(其任一个可以替代地在设备101的外部)。扬声器132包括用于将音频数据转换为声音的任何合适的扬声器，以提供声音警报、来自远程通信设备的声音通信等中的一个或多个。麦克风134包括用于接收声音和转换为音频数据的任何合适的麦克风。扬声器132和麦克风134可以组合使用以在设备101处实现电话和/或通信功能。
如所描绘的，确定尺寸处理器120还连接到被配置为与一个或多个通信网络(未描绘)无线通信的任选的接口124，该接口124可以实现为一个或多个无线电和/或连接器和/或网络适配器。将理解，接口124被配置为与用于实现到一个或多个通信网络的一个或多个通信链路的网络架构对应，包括但不限于USB(通用串行总线)电缆、串行电缆、无线链路、手机链路、蜂窝网络链路(包括但不限于2G、2.5G、3G、4G+，诸如UMTS(通用移动电信系统)、GSM(全球移动通信系统)、CDMA(码分多址接入)、FDD(频分双工)、LTE(长期演进)、TDD(时分双工)、TDD-LTE(TDD-长期演进)、TD-SCDMA(时分同步码分多址接入)等)，无线数据、蓝牙TM链路、NFC(近场通信)链路、WLAN(无线局域网)链路、WiFi链路、WiMax链路、基于分组的链路、因特网、模拟网络、PSTN(公共交换电话网络)、接入点等，和/或组合的任何合适组合。
虽然未描绘，但是设备101还包括电源，包括但不限于电池、电源组等，和/或到主电源和/或电源适配器的连接(例如，和AC至DC(交流电至直流电)适配器)。通常，电源向设备101的部件供电。
因此，应该理解，通常可以设想用于设备101的各种配置。
现在将注意力转向图3，图3描绘了根据非限制性实现的用于使用数字图像和深度数据确定尺寸的方法300的流程图的框图。为了辅助解释方法300，将假设使用设备101并且特别地通过确定尺寸处理器120，并且当确定尺寸处理器120处理存储在存储器122处的指令(例如应用136)时，来执行方法300。实际上，方法300是可以配置设备101的一种方式。此外，以下对方法300的讨论将导致对设备101及其各种部件的进一步理解。然而，应该理解，设备101和/或方法300可以变化，并且不需要完全如本文所讨论的彼此结合地工作，并且这种变化是在本实现的范围内。
无论如何，强调的是，除非另有说明，否则方法300不需要以所示的确切顺序执行；同样，各种块可以并行而不是按顺序来执行；因此，方法300的元素在本文中称为“块”而不是“步骤”。然而，还应该理解，方法300也可以在设备101的变体上来实现。
在可以顺序地和/或并行地执行的块301、303处，确定尺寸处理器120从相机设备103接收数字图像并且从深度感测设备105接收对应的深度数据。
在块305处，确定尺寸处理器120确定属于在数字图像中识别的对象的形状的片段。例如，片段可以包括在分段(segmentation)的中间阶段期间在数字图像中识别的对象。在一些实例中，片段可以包括但不限于数字图像中的对象的侧部和/或表面上的不确定形状的斑点(blob)，其在数字图像的初始处理中被识别，且被识别用于未来分析。如下将所述，可以将若干片段组合为属于数字图像中的对象的给定形状，并且给定形状可以定义数字图像中的对象的侧部；实际上，有时可以假设一个形状与对象的一个侧部相关联，除非例如对象是弯曲的(例如球体)而没有可区分的侧部，但在这种情况下片段仍然可以被组合成形状。
在块307处，基于来自深度感测设备的与与对象相关联的形状的片段中的每个片段相关联的相应的深度数据，确定尺寸处理器120确定片段中的每个片段是否与与对象相关联的相同形状相关联。换句话说，在块307处，基于对应于定义给定对象的形状的片段中的每个片段的相应深度数据，确定尺寸处理器120确定片段中的每个片段是否与形成对象的至少一部分的相同形状相关联。
在块309处，确定尺寸处理器120确定是否处理所有片段以确定它们与数字图像中的对象的形状的相应的关联。当尚未处理所有片段时(例如，在块309处的“否”判定)，块307继续。
然而，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联(例如，在块309处的“是”判定)，则在块311处，确定尺寸处理器120基于相应的深度数据和形状的相应的关联来计算对象的尺寸。
在任选块313处，确定尺寸处理器120可以控制显示设备126用于以下中的一个或多个：渲染数字图像；识别数字图像中的对象；并渲染对象的尺寸。替代地，和/或除了块313之外，确定尺寸处理器120可以在存储器122处存储对象的数字图像和尺寸中的一个或多个。替代地，和/或除了块313之外，确定尺寸处理器120可以使用接口124将对象的数字图像和尺寸中的一个或多个传输到例如外部设备和/或远程设备；对象的数字图像和尺寸中的一个或多个的这种传输可以连同基于云的仓储应用和/或基于云的仓储功能而发生。
现在将参考图4至图10讨论方法300。因此，接下来将注意转向图4，图4基本上类似于图2，其中相同的元素具有相同的数字。特别地，图4描绘了块301、303的非限制性实现，其中确定尺寸处理器120例如响应于处理应用136分别从相机103和深度感测设备105接收数字图像403和深度数据405。图4还描绘了相机103和深度感测设备105两者的视场中的盒子410(即物理对象)。盒子410包括六个侧部(其中三个侧部对于相机103和深度感测设备105都可见：具体地，顶部450和从顶部450向下延伸的侧部451、452)。此外，如所描绘的，对相机103和深度感测设备105可见的盒子410的顶部450包括标签411、412等，其具有与盒子410不同的颜色；同样，盒子410的顶部450包括翼盖(flap)，使得线在视觉上将盒子410的顶部450一分为二。
接下来将注意转向图5，其描绘了当相机103感测到盒子410(和/或物理对象)时产生的数字图像403的非限制性视觉渲染；例如，可以在显示设备126处渲染数字图像403的视觉渲染(例如，参见图9)。在块305处，确定尺寸处理器120处理数字图像403以确定属于在数字图像中识别的对象的形状的片段；在该实例中，术语“对象”用于表示数字图像403中的一组区域和/或一组像素，该一组区域和/或一组像素似乎代表物理对象，例如盒子410。
具体地，确定尺寸处理器120处理数字图像403以搜索可包括但不限于图元形状、平面、三角形、正方形、矩形、圆形、球形、多边形等的形状的片段；例如，可以用于定义如存储在数据140中的对象的形状。在图5中的数字图像403中，顶部450和两个可见侧部451、452中的每个可以对应于多边形和/或矩形，并且在块305处确定尺寸处理器120确定可构成多边形或矩形的片段。
因此，图5还描绘了在已经实施块305之后的数字图像403的渲染503，其中指示在块305中识别的形状的片段。应理解，渲染503仅表示确定由数字图像403中的对象表示的物理对象的尺寸中的中间步骤，并且渲染503不一定显示在显示设备126处。
具体地，在渲染503中，确定尺寸处理器120已在数字图像403中识别出多个片段520-1、520-2、520-3、520-4、520-5、520-6、520-7，其在下文将可互换地共同地被称为片段520，并且通常地称为片段520。如图5所见，片段520的边缘不一定被很好地定义，因为取决于形成边缘和/或角落的侧部之间的对比度和/或盒子410与数字图像403的背景中的物品之间的对比度，图像处理算法可以导致盒子410的边缘和/或角落不清楚。
在任何情况下，确定尺寸处理器120处理数字图像403以识别片段520。在一些实现中，确定尺寸处理器120还可以被配置为预处理数字图像403用于以下中的一个或多个：对图像噪声进行滤波；检测对象的边缘；对颜色分段；确定数字图像403中的形态特征；以及确定数字图像403中的线的取向。可以执行这种预处理以便更好地识别片段520之间的边缘等。
在又另外的实现中，确定尺寸处理器120还可以被配置为预处理深度数据405用于以下中的一个或多个：校正失真；校正干扰；对噪声滤波；以及将深度数据405转换为点云数据格式。在后面的这些实现中，深度数据405的进一步处理可以包括以点云数据格式处理深度数据405。
在一些实现中，确定尺寸处理器120还可以被配置为滤出与该对象不相关联的识别的形状和识别的片段中的一个或多个。例如，在渲染503中，示出了各种形状和/或片段(诸如片段530)，其不与盒子410相关联，这可能由于盒子410的照明和/或与盒子410相邻的物品、噪声等而发生。可以滤出这些形状和/或片段。
实际上，在一些实现中，可以将片段520、530等与数据140-n(包括定义各种对象及其对应性质的数据140)进行比较，以便确定要滤出哪些片段520、530以及哪些片段520、530可以被用在方法300中。在又另外的实现中，来自数字图像403和深度数据405的数据被合并以识别片段520、530。例如，数据140、140-n中的一个或多个和应用136可以存储定义对象的性质和/或规则，并且这样的规则可以用于识别片段520、530。例如，这样的性质可以包括但不限于位置(例如顶部平面、地板平面、侧部平面等)、几何形状(长方体框架，角落位置等)、类似纹理/颜色的组、在角落之间、边缘/线之间、侧部之间、纹理区域之间的特定特征的关系等。因此，识别片段可以包括识别描绘不同类型的区域的数字图像403的部分(例如，基于颜色、纹理、位置)，其可以通过比较对应的深度数据405来增强以便确定片段是否为属于该对象的相同形状的部分，如下文进一步详细描述。
在任何情况下，片段520-1、520-2分别对应于标签411、412，片段520-3对应于由标签411和盒子410的顶部450的翼盖限定的区域，片段520-4、520-5对应于盒子410的顶部450的剩余区域，并且片段520-6、520-7对应于对相机103和深度感测设备105可见的盒子410的两个侧部451、452。然而，仅从数字图像403，确定尺寸处理器120通常不能确定和/或确认哪些片段520与对象的哪些形状相关联；因此，确定尺寸处理器120通常不能确定和/或确认哪些段520与盒子410的侧部451、452和/或顶部450相关联；例如，尽管片段520-1、520-2、520-3、520-4、520-5中的每个一起对应于盒子410的相同形状和/或顶部450，但可能不容易仅基于数字图像403得出这样的结论。
因此，在块307处，确定尺寸处理器120处理与属于对象的形状的片段520中的每个相关联的相应的深度数据405，以确定片段520中的每个是否与相同形状相关联。例如，接下来将注意转向图6，其描绘了块305的实现的非限制性示例。
具体地，确定尺寸处理器120可以识别属于在数字图像403中识别的对象的形状的相邻片段520，并且比较相邻片段520的相应深度数据的至少一部分。可以解析深度数据405以将深度数据405的部分与数字图像403中识别的片段相关联，而不使用深度数据405执行完整的三维映射，这可能是耗时的和/或使用过多的处理资源。例如，可以将片段520-1、520-2确定为相邻的形状，因为其间不存在其他片段520。此外，可以比较与每个片段520-1、520-2相关联的相应的深度数据，以确定距深度感测设备105的相对距离和/或在参考帧中的相对位置。
例如，如所描绘，将与片段520-1的区域601相关联的深度数据405与与相邻片段520-2的区域602相关联的深度数据405进行比较，以确定片段520-1、520-2是否可以被组合。因此，数字图像403的区域601、602被映射到深度数据405。虽然区域601、602中的每个被描绘为椭圆，但区域601、602可以是相应的片段520-1、520-2内的任何形状，并且是从像素到相应的片段520-1、520-2的整体的任何尺寸。实际上，可以比较与片段520-1、520-2相关联的相应的深度数据405的任何部分以确定片段520-1、520-2是否与相同形状相关联。
例如，可以比较与片段520-1、520-2相关联的相应的深度数据405的部分以确定它们是否形成相同平面(例如，盒子410的顶部450)的子集；如此，与片段520-1、520-2相关联的相应的深度数据405通常将是大约连续的，和/或位于相同平面中和/或是共面的。换句话说，处理与片段520-1、520-2相关联的深度数据405以确定其是否满足将它们连接在一起成为属于该对象的相同形状的较大的超片段的标准。例如，在一些实现中，确定尺寸处理器120还可以被配置为通过以下来确定片段520-1、520-2中的每个是否与属于该对象的相同形状相关联：基于相应的深度数据405确定相邻片段520-1、520-2是否与相同形状共同定位。因此，再次，处理相邻片段520-1、520-2的相应的深度数据405以确定相应的深度数据405是否是共面的。
在图7中描绘了这样的超片段720，图7基本上类似于图6，其中相同的元素具有相同的数字；然而，图7描绘了数字图像403的非限制性视觉渲染703，其在片段520-1、520-2已被连接为较大的超片段720时产生；特别地，渲染703是从渲染503导出的，但是在渲染703中，片段520-1、520-2已经被连接为较大的超片段720。应理解，渲染703仅表示确定由数字图像403中的对象表示的物理对象的尺寸中的中间步骤，并且渲染703不一定显示在显示设备126处。
图7还描绘了类似于区域601、602但分别与片段520-5、520-6相关联的区域605、606。同样，区域605、606可以比所描绘的更大或更小。此外，可以比较与片段520-5、520-6相关联的相应的深度数据405的部分以确定它们是否形成相同平面(例如，盒子410的顶部450)的子集。然而，由于与片段520-5、520-6相关联的相应的深度数据405指示例如片段520-5、520-6不是共面的，因而确定片段520-5、520-6是不同形状的部分，而不是相同形状的部分。
在任何情况下，确定尺寸处理器120可以被配置为迭代通过片段520中的所有相邻片段以确定相邻片段是否可以连接为相同形状的更大的超片段。如此，确定尺寸处理器120可以确定片段520-1、520-2、520-3、520-4、520-5中的所有片段可以连接在一起成为更大的超片段。例如，接下来将注意转向图8，其描绘了数字图像403的非限制性视觉渲染803，其一旦处理所有片段520以确定它们与数字图像403中的对象的形状的相应的关联就产生。应理解，渲染803仅表示确定由数字图像403中的对象表示的物理对象的尺寸中的中间步骤，并且渲染803不一定显示在显示设备126处。
特别地，渲染803是从渲染503、703导出，但是在渲染803中，片段520-1、520-2、520-3、520-4、520-5已经被连接为更大的超片段820。
例如，在图8中，确定尺寸处理器120已经迭代通过片段520-1、520-2、520-3、520-4、520-5(以及片段520-6、520-7)中的所有片段并且确定片段520-1、520-2、520-3、520-4、520-5都与相同形状相关联，其可以与盒子410的顶部450相关联。替代地，在形成超片段720之后，确定尺寸处理器120迭代通过剩余的片段并确定片段520-3、520-4、520-5要与超片段720连接以形成超片段820。
在迭代期间，确定尺寸处理器120已经进一步确定片段520-6、520-7不与与片段520-1、520-2、520-3、520-4、520-5(和/或超片段720)相同的形状相关联。因此，在图8中，确定尺寸处理器120已经进一步确定片段520-6、520-7各自独立地形成相应的形状，并且因此未与其他片段520连接。
一旦所有片段520被处理以确定它们与数字图像403中的对象的形状的相应的关联(例如，如在块309处所确定的)，则在块311处，确定尺寸处理器120基于相应的深度数据和形状的相应的关联来计算对象的尺寸。确定尺寸处理器120可以将由渲染803表示的数据与数据140进行比较，以确定由数字图像403中的对象表示的物理对象表示盒子(例如盒子410)，并使用任何确定尺寸算法确定盒子的尺寸。
例如，再次注意图8，可以识别对应于盒子的侧部的渲染803的片段520-6,520-7,820的侧部，并且从深度数据405确定其尺寸。在图8中，(例如，基于从深度数据识别对象的相邻的非共面形状的交叉部分)确定并指示对应于盒子的高度(H)、长度(L)和宽度(W)的片段520-6、520-7、820的边缘，并且可以通过深度数据405和数字图像403之间的相关性和/或深度数据405和在渲染803中识别的边缘H、L、W之间的相关性，来从深度数据405确定边缘H，L，W的尺寸。换句话说，确定尺寸处理器120还可以被配置为基于数字图像103中和深度数据405中的对象的片段520的相对位置来确定对象的几何形状。从几何形状，可以确定尺寸。
当已经确定尺寸时，确定尺寸处理器120可以在显示设备126处渲染尺寸。例如，接下来将注意转向图9，其描绘了使用中的设备101的透视前视图；特别地，盒子410位于相机103和深度感测设备105(在设备101的后侧，并且因此在图9中不可见)的视场中，并且方法300已用于确定盒子410的尺寸。确定尺寸处理器120因此控制显示设备126以渲染显示盒子410的数字图像403，以及盒子410的确定的尺寸。如所描绘，对应于盒子410的高度、长度和宽度的线在显示设备126处也与同样示出的其相应的尺寸一起被渲染。如本领域技术人员将认识到的，还可以基于所确定的尺寸以及定义对象的数据140来计算和显示对象体积。
接下来将注意转向图10，其描绘了方法300的替代方案；特别地，图10描绘了根据非限制性实现的根据非限制性实现的用于使用数字图像和深度数据确定尺寸的方法1000的流程图的框图。为了辅助解释方法1000，将假设使用设备101并且特别地通过确定尺寸处理器120，并且当确定尺寸处理器120处理存储在存储器122处的指令(例如应用136)时，来执行方法1000。实际上，方法1000是可以配置设备101的一种方式。此外，以下对方法1000的讨论将导致对设备101及其各种部件的进一步理解。然而，应该理解，设备101和/或方法1000可以变化，并且不需要完全如本文所讨论的彼此结合地工作，并且这种变化是在本实现的范围内。
无论如何，强调的是，除非另有说明，否则方法1000不需要以所示的确切顺序执行；同样，各种框可以并行而不是按顺序来执行；因此，方法1000的元素在本文中称为“块”而不是“步骤”。然而，还应该理解，方法1000也可以在设备101的变体上来实现。
在块1001、1003处，确定尺寸处理器120分别从相机103和深度感测设备105接收图像数据和深度数据。块1001、1003分别对应于方法300的块301、303。此外，在方法1000中，图像数据可以可互换地称为二维(2D)数据，并且深度数据可以可互换地称为三维(3D)数据。实际上，通常，来自相机103的数据是二维的，并且可以包括二维颜色坐标和/或亮度坐标的阵列；类似地，通常，来自深度感测设备105的数据是三维的并且可以包括深度坐标的二维阵列(即，二维阵列中的每个元素与对应的深度相关联)。
在块1004-1、1004-2处，确定尺寸处理器120可以分别预处理2D数据和3D数据。例如，在块1004-1处对2D数字图像进行预处理可以包括但不限于图像噪声滤波、边缘检测、颜色分段、形态特征分段(例如，线取向、边缘取向等)等。在块1004-2处对3D深度数据进行预处理可以包括但不限于失真校正、干扰校正、噪声滤波、相位(深度)映射到点云数据(PCD)转换等。
在块1005处，确定尺寸处理器120通过合并2D数据和3D数据并基于存储例如在数据140中的性质和/或基于在应用136中配置的性质定位对象来定位和/或从2D数据和3D数据中提取感兴趣的对象。这样的性质可以包括但不限于位置(例如顶部平面、地板平面、侧部平面等)、几何形状(长方体框架，角落位置等)、类似纹理/颜色的组、在角落之间、边缘/线之间、侧部之间、纹理区域之间的特定特征的关系等。实际上，在数字图像中定位对象和/或与对象相关联的片段因此可以包括处理数字图像和深度数据两者以找到这样的片段和/或对象。因此，块1005对应于方法300的块305。
在块1007处，确定尺寸处理器120可以映射(例如，在数字图像中的)对象区域、3D深度数据(例如，在块1007中称为3D数据集)。这种映射可以包括但不限于从3D数据集提取空间数据，其可以包括提取至少两个侧部，提取一个侧部和一个主对角线等；换句话说，提取足够的空间数据以表征对象而不执行完整的三维映射。足以表征给定类型的对象的数据程度可以在数据140-n中定义；换句话说，对于给定类型的对象，数据140-n包括用于确定在映射对象区域时发生的映射程度的规则。此外，在块1007处，确定尺寸处理器120基于2D数字图像和3D深度数据中的边缘位置，在片段的一个或多个最佳拟合(包括但不限于最佳矩形拟合)上迭代。通常，块1007对应于方法300的块307。
虽然未描绘，但是在方法1000中，假设块1007的迭代发生直到如上所述已经处理了所有识别的片段；因此，块1007固有地也对应于方法300的块309。
在块1011处，确定尺寸处理器120然后可以计算和/或确定由2D数字图像和3D深度数据中的对象表示的物理对象的尺寸。因此，块1011对应于方法300的块311。
此后，确定尺寸处理器120可以控制显示设备126用于以下中的一个或多个：渲染数字图像；识别数字图像中的对象；以及渲染对象的尺寸。
因此，本文描述了一种设备，其使用分别使用相机设备和深度感测设备获取的数字图像和对应的深度数据的组合来确定相机设备和深度传感设备的视场中的物理对象的尺寸。通过将数字图像和深度数据中的特征相关联，可以避免仅使用2D数字图像或仅使用3D深度数据来确定尺寸的问题。
在上述说明书中已经描述了具体实现。然而，本领域普通技术人员理解，可做出多种修改和改变而不脱离如下权利要求书所阐述的说明书的范围。因此，说明书和附图被认为是图示性的而非限定性的意义，并且所有这种修改都旨在被包括在本教导的范围内。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的(多个)任何要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明单独由所附权利要求书限定，包括在本申请处于未决状态期间做出的任何修改以及公布后这些权利要求的所有等效。
此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“构成”、“构成有”、“具有”、“具备”、“包括”、“包括有”、“包含”、“含有”或它们的任何其他变型旨在覆盖非排他性包括，以使构成为、具有、包括、包含一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括对该过程、方法、物品或装置未明确列出的或固有的其他要素。以“构成有一”、“具有一”、“包括一”、“包含一”开头的要素，在没有更多约束条件的情形下，不排除在构成有、具有、包括、包含该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或多个，除非本文中另有明确声明。术语“基本上”、“本质上”、“近似”、“大约”或这些术语的任何其他版本被定义为如本领域内技术人员理解的那样接近，并且在一个非限定性实现中，这些术语被定义为在10％内，在另一实现中在5％以内，在另一实现中在1％以内，而在另一实现中在0.5％内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置的”设备或结构至少以该种方式进行配置，但也可以未列出的方式进行配置。
将理解，一些实现可包括诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)之类的一个或多个通用或专用处理器(或“处理设备”)以及唯一存储的程序指令(包括软件和固件两者)，所述唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可由无存储程序指令的状态机来实现，或者在一种或多种专用集成电路(ASIC)中实现，其中各种功能或某些功能的某些组合被实现为定制逻辑。当然，也可使用这两种方法的组合。
此外，实现可被实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及闪存。此外，预期本领域普通技术人员虽然做出由例如可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的构思和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。
提供本公开的摘要以使读者快速地明确本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在前述的详细描述中，可以看到，出于将本公开连成一个整体的目的而将各种特征一起组合在各种实现中。本公开的方法并不被解释为反映以下意图：所要求保护的实现需要比每项权利要求中明确表述的特征更多的特征。相反，如以下权利要求书所反映的，本发明的主题在于比单个公开的实现的全部特征少。因此，下面的权利要求在此被包括在具体实施方式中，其中每个权利要求独自作为单独要求保护的主题。

Claims (20)

1.一种用于图像处理的设备，包括：
相机设备，被配置成获取视场中的数字图像；
深度感测设备，被配置成获取跨所述相机设备的视场的至少一部分的深度数据；以及
确定尺寸处理器，被配置成：
确定属于在所述数字图像中识别的对象的形状的片段；
基于来自所述深度感测设备的与属于所述对象的形状的片段中的每个片段相关联的相应的深度数据，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联；以及
一旦所有所述片段被处理以确定它们与所述数字图像中的所述对象的形状的相应的关联，就基于所述相应的深度数据和形状的相应的关联来计算所述对象的尺寸,
其中所述确定尺寸处理器还被配置为通过以下方式确定片段中的每个片段是否与属于所述对象的相同形状相关联：迭代通过所述形状的所有相邻片段以确定所述形状的相邻片段是否能被连接成所述相同形状的较大的超片段；并且响应于确定所述形状的相邻片段能被连接成所述相同形状的较大的超片段，将所述相邻片段连接为超片段。
2.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为通过以下方式来确定所述片段中的每个片段是否与属于所述对象的相同形状相关联：
识别属于所述数字图像中识别的所述对象的形状的相邻片段；以及
比较所述相邻片段的相应的深度数据的至少一部分。
3.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为通过以下方式来确定所述片段中的每个片段是否与属于所述对象的相同形状相关联：基于所述相应的深度数据确定相邻片段是否与所述相同形状共同定位。
4.根据权利要求1所述的设备，其中，确定尺寸处理器还被配置为滤出与所述对象不相关联的识别的形状和识别的片段中的一个或多个。
5.根据权利要求1所述的设备，还包括显示设备，所述确定尺寸处理器还被配置为控制所述显示设备用于以下中的一个或多个：渲染所述数字图像；识别所述数字图像中的所述对象；以及渲染所述对象的尺寸。
6.根据权利要求1所述的设备，还包括存储器，所述存储器存储定义所述对象的数据，所述确定尺寸处理器还被配置为：通过将所述数字图像与定义所述对象的所述数据进行比较来识别所述数字图像中的所述对象。
7.根据权利要求6所述的设备，其中定义所述对象的所述数据被存储在存储器中的容器中，所述容器是存储在所述存储器中的多个容器之一，所述多个容器中的每一个定义相应的对象。
8.根据权利要求6所述的设备，其中定义所述对象的所述数据包括所述对象的立体度量性质，所述立体度量性质包括所述对象的定量描述和定性描述中的一个或多个的集合,所述对象的定量描述和定性描述中的一个或多个的集合在三维中唯一地表征所述对象。
9.根据权利要求1所述的设备，其中所述确定尺寸处理器还被配置为基于所述数字图像中和所述深度数据中的所述对象的片段的相对位置来确定所述对象的几何形状。
10.根据权利要求1所述的设备，其中，所述形状中的每个形状包括以下中的一个或多个：图元形状、三角形、正方形、矩形、圆形、球形和多边形。
11.根据权利要求1所述的设备，其中，所述形状中的每个形状包括平面。
12.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为预处理所述数字图像用于以下中的一个或多个：对图像噪声进行滤波；检测所述对象的边缘；对颜色分段；确定所述数字图像中的形态特征；以及确定所述数字图像中的线的取向。
13.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为预处理所述深度数据用于以下中的一个或多个：校正失真；校正干扰；对噪声滤波；以及
将所述深度数据转换为点云数据格式。
14.根据权利要求1所述的设备，其中，所述相机设备包括RGB(红-绿-蓝)数字相机。
15.根据权利要求1所述的设备，其中，所述深度感测设备包括以下中的一个或多个：结构光相机、飞行时间相机、主动立体视觉相机、被动立体视觉相机、立体影像相机和光检测和测距LIDAR设备。
16.根据权利要求1所述的设备，其中，所述深度感测设备包括立体视觉相机。
17.一种用于图像处理的方法，包括：
在设备处，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨所述相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，在所述确定尺寸处理器处确定属于在所述数字图像中识别的对象的形状的片段；基于来自所述深度感测设备的与属于所述对象的形状的片段中的每个片段相关联的相应的深度数据，在所述确定尺寸处理器处确定所述片段中的每个片段是否与属于所述对象的相同形状相关联；以及
一旦所有所述片段被处理以确定它们与所述数字图像中的对象的形状的相应的关联，就在所述确定尺寸处理器处基于所述相应的深度数据和形状的相应的关联来计算所述对象的尺寸,
其中，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联通过以下来发生：迭代通过所述形状中的所有相邻片段以确定所述形状的相邻片段是否能被连接成所述相同形状的较大的超片段；并且响应于确定所述形状的相邻片段能被连接成所述相同形状的较大的超片段，将所述相邻片段连接为超片段。
18.根据权利要求17所述的方法，其中，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联通过以下来发生：
识别属于所述数字图像中识别的所述对象的形状的相邻片段；以及
比较所述相邻片段的相应的深度数据的至少一部分。
19.根据权利要求17所述的方法，其中，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联通过以下来发生：基于所述相应的深度数据确定相邻片段是否与所述相同形状共同定位。
20.一种存储计算机程序的非瞬态性计算机可读介质，其中所述计算机程序的执行用于：
在设备处，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨所述相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，在所述确定尺寸处理器处确定属于在所述数字图像中识别的对象的形状的片段；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，在确定尺寸处理器处确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就在确定尺寸处理器处基于相应的深度数据和形状的相应的关联来计算对象的尺寸，
其中，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联通过以下来发生：迭代通过所述形状的所有相邻片段以确定所述形状的相邻片段是否能被连接成所述相同形状的较大的超片段；并且响应于确定所述形状的相邻片段能被连接成所述相同形状的较大的超片段，将所述相邻片段连接为超片段。
CN201680083530.4A 2016-03-14 2016-12-22 使用数字图像和深度数据确定尺寸的设备和方法 Active CN108779980B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/069,491 US10587858B2 (en) 2016-03-14 2016-03-14 Device and method of dimensioning using digital images and depth data
US15/069,491 2016-03-14
PCT/US2016/068203 WO2017160368A1 (en) 2016-03-14 2016-12-22 Device and method of dimensioning using digital images and depth data

Publications (2)

Publication Number Publication Date
CN108779980A CN108779980A (zh) 2018-11-09
CN108779980B true CN108779980B (zh) 2021-02-23

Family

ID=57861235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083530.4A Active CN108779980B (zh) 2016-03-14 2016-12-22 使用数字图像和深度数据确定尺寸的设备和方法

Country Status (7)

Country Link
US (1) US10587858B2 (zh)
CN (1) CN108779980B (zh)
AU (1) AU2016398052B2 (zh)
DE (1) DE112016006583T5 (zh)
GB (1) GB2563164B (zh)
MX (1) MX2018010960A (zh)
WO (1) WO2017160368A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201511551D0 (en) 2015-07-01 2015-08-12 St Microelectronics Res & Dev Photonics device
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
EP3485462B1 (en) 2016-07-12 2020-11-25 SZ DJI Technology Co., Ltd. Processing images to obtain environmental information
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10785400B2 (en) 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
US10484667B2 (en) * 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
WO2019095092A1 (en) * 2017-11-14 2019-05-23 Symbol Technologies, Llc Methods and apparatus for detecting and recognizing graphical character representations in image data using symmetrically-located blank areas
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
US10989795B2 (en) * 2017-11-21 2021-04-27 Faro Technologies, Inc. System for surface analysis and method thereof
CN108280402B (zh) * 2017-12-27 2021-09-24 武汉长江通信智联技术有限公司 一种基于双目视觉的客流量统计方法及系统
US11341350B2 (en) * 2018-01-05 2022-05-24 Packsize Llc Systems and methods for volumetric sizing
US10664974B2 (en) 2018-02-23 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for object detection using edge characteristics
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN109596059B (zh) * 2019-01-07 2021-03-05 南京航空航天大学 一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法
CN109948979B (zh) * 2019-03-14 2021-05-11 广州蓝胖子机器人有限公司 一种库存检测的方法、设备及存储介质
CN110006343B (zh) * 2019-04-15 2021-02-12 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
US11334739B2 (en) * 2020-05-29 2022-05-17 Zebra Technologies Corporation Barcode readers with 3D camera(s)
WO2021253189A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, scanning method of controlling electric device, and computer readable storage medium
CN112669232B (zh) * 2020-12-24 2024-08-09 浙江大华技术股份有限公司 一种深度图像增强处理方法及装置
US11568558B1 (en) 2021-08-25 2023-01-31 Radwell International, Inc. Product photo booth
WO2023027703A1 (en) * 2021-08-25 2023-03-02 Radwell International Inc. Product photo booth
US12003691B1 (en) * 2023-05-02 2024-06-04 Microsoft Technology Licensing, Llc Camera focus adjustment

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611292A (en) * 1982-10-06 1986-09-09 Hitachi, Ltd. Robot vision system
US6420698B1 (en) * 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6526166B1 (en) * 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
US6751345B2 (en) * 2001-02-12 2004-06-15 Koninklijke Philips Electronics N.V. Method and apparatus for improving object boundaries extracted from stereoscopic images
US6995762B1 (en) 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7399220B2 (en) * 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
AU2003292490A1 (en) * 2003-01-17 2004-08-13 Koninklijke Philips Electronics N.V. Full depth map acquisition
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
US7321669B2 (en) * 2003-07-10 2008-01-22 Sarnoff Corporation Method and apparatus for refining target position and size estimates using image and depth data
EP1710835B1 (en) * 2004-01-07 2019-08-28 Nikon Corporation Stacked device and method for stacking integrated circuit devices
JP4532171B2 (ja) * 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
KR100727033B1 (ko) * 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
JP4380663B2 (ja) * 2006-06-08 2009-12-09 コニカミノルタセンシング株式会社 三次元形状測定方法、装置、及びフォーカス調整方法
US7894662B2 (en) 2006-10-11 2011-02-22 Tandent Vision Science, Inc. Method for using image depth information in identifying illumination fields
US20080140234A1 (en) * 2006-12-06 2008-06-12 Shafter Richard M Method and system for remotely directing a fishing tournament
US8406567B2 (en) * 2008-01-09 2013-03-26 Purdue Research Foundation Reconstruction of shapes of near symmetric and asymmetric objects
US20090238404A1 (en) * 2008-03-18 2009-09-24 Fredrik Orderud Methods for using deformable models for tracking structures in volumetric data
US8290231B2 (en) * 2009-01-23 2012-10-16 Naveen Garg Method and apparatus for providing measurement data of an anomaly in a medical image
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
JP5468824B2 (ja) * 2009-06-22 2014-04-09 株式会社豊田自動織機 ３次元における形状の一致を判定する方法および装置
US20130124148A1 (en) * 2009-08-21 2013-05-16 Hailin Jin System and Method for Generating Editable Constraints for Image-based Models
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
NL1037949C2 (nl) * 2010-05-10 2011-11-14 Suitsupply B V Werkwijze voor het op afstand bepalen van kledingmaten.
US9311556B2 (en) * 2010-05-19 2016-04-12 Plf Agritech Pty Ltd Image analysis for making animal measurements including 3-D image analysis
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US20130179288A1 (en) * 2010-11-17 2013-07-11 Upcload Gmbh Collecting and using anthropometric measurements
JP5839929B2 (ja) * 2010-11-19 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
WO2013146269A1 (ja) * 2012-03-29 2013-10-03 シャープ株式会社 画像撮像装置、画像処理方法およびプログラム
US9007368B2 (en) * 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
KR101913321B1 (ko) * 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
WO2013170260A1 (en) * 2012-05-11 2013-11-14 Proiam, Llc Hand held dimension capture apparatus, system, and method
GB2519006B (en) * 2012-07-02 2018-05-16 Panasonic Ip Man Co Ltd Size measurement device and size measurement method
WO2014037939A1 (en) * 2012-09-05 2014-03-13 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
US20140104416A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Dimensioning system
US20140104413A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9019267B2 (en) * 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US9208536B2 (en) * 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
EP2811463B1 (en) * 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US9721187B2 (en) * 2013-08-30 2017-08-01 Nvidia Corporation System, method, and computer program product for a stereoscopic image lasso
US9464885B2 (en) * 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9478030B1 (en) * 2014-03-19 2016-10-25 Amazon Technologies, Inc. Automatic visual fact extraction
EP3143474B1 (en) * 2014-05-15 2020-10-07 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
EP2957861A1 (en) * 2014-06-17 2015-12-23 Expert Ymaging, SL Device and method for automated parameters calculation of an object
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
US9897434B2 (en) * 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
CN104376596B (zh) * 2014-11-28 2017-05-31 北京航空航天大学 一种基于单幅图像的三维场景结构建模与注册方法
JP2016148569A (ja) * 2015-02-12 2016-08-18 キヤノン株式会社 画像測定方法、及び画像測定装置
US10248927B2 (en) * 2015-10-22 2019-04-02 Rakesh Holdings, LLC Multifunctional self-service shipping and mail processing system
US9727775B2 (en) * 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
US9852495B2 (en) * 2015-12-22 2017-12-26 Intel Corporation Morphological and geometric edge filters for edge enhancement in depth images
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
JPWO2017134886A1 (ja) * 2016-02-02 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2017154705A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
JP6774793B2 (ja) * 2016-06-24 2020-10-28 株式会社キーエンス 三次元測定装置
US10212408B1 (en) * 2016-06-29 2019-02-19 Amazon Technologies, Inc. Depth-map augmentation techniques
CN106651853B (zh) * 2016-12-28 2019-10-18 北京工业大学 基于先验知识和深度权重的3d显著性模型的建立方法

Also Published As

Publication number Publication date
US20170264880A1 (en) 2017-09-14
AU2016398052B2 (en) 2019-10-10
AU2016398052A1 (en) 2018-09-06
US10587858B2 (en) 2020-03-10
WO2017160368A1 (en) 2017-09-21
CN108779980A (zh) 2018-11-09
GB2563164B (en) 2022-04-20
GB2563164A (en) 2018-12-05
MX2018010960A (es) 2019-01-17
GB201813604D0 (en) 2018-10-03
DE112016006583T5 (de) 2018-12-13

Similar Documents

Publication Publication Date Title
CN108779980B (zh) 使用数字图像和深度数据确定尺寸的设备和方法
US10930005B1 (en) Profile matching of buildings and urban structures
Liang et al. Image based localization in indoor environments
EP2711670B1 (en) Visual localisation
US9805240B1 (en) Barcode scanning and dimensioning
US10783656B2 (en) System and method of determining a location for placement of a package
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
JP5822322B2 (ja) ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び３ｄディスプレイ
US20210319621A1 (en) Face modeling method and apparatus, electronic device and computer-readable medium
JP5538435B2 (ja) 画像特徴抽出方法及びシステム
US20190303650A1 (en) Automatic object recognition method and system thereof, shopping device and storage medium
US20180182163A1 (en) 3d model generating system, 3d model generating method, and program
US20120201423A1 (en) Image processing apparatus, image processing method, image processing program and recording medium
CN113724368B (zh) 图像采集系统、三维重建方法、装置、设备以及存储介质
CN108305291B (zh) 利用包含定位二维码的墙体广告的单目视觉定位定姿方法
WO2015108996A1 (en) Object tracking using occluding contours
US20210350115A1 (en) Methods and apparatus for identifying surface features in three-dimensional images
WO2018170695A1 (zh) 一种表观特征的描述属性识别方法及装置
US9299127B2 (en) Splitting of elliptical images
CN111666792A (zh) 图像识别方法、图像采集和识别方法以及商品识别方法
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
CN112991429B (zh) 箱体体积测量方法、装置、计算机设备和存储介质
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN114723923B (zh) 一种传动解决方案模拟展示系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant