CN114502915A - 用于移动尺寸标注的方法、系统和装置 - Google Patents
用于移动尺寸标注的方法、系统和装置 Download PDFInfo
- Publication number
- CN114502915A CN114502915A CN202080070381.4A CN202080070381A CN114502915A CN 114502915 A CN114502915 A CN 114502915A CN 202080070381 A CN202080070381 A CN 202080070381A CN 114502915 A CN114502915 A CN 114502915A
- Authority
- CN
- China
- Prior art keywords
- mobile device
- controller
- distance
- pose
- rangefinder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000004913 activation Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 32
- 238000001994 activation Methods 0.000 claims 9
- 230000003213 activating effect Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
Abstract
移动设备包括:测距仪,该测距仪用于测量到设备的外部点的距离;跟踪传感器;以及与该测距仪和该跟踪传感器连接的控制器,该控制器被配置为:经由跟踪传感器在参考系中跟踪移动设备的连续姿态;响应于处于姿态中的第一姿态中的测距仪的第一激活,基于与测距仪的第一距离和第一姿态,在参考系中生成第一外部点的第一位置;响应于处于姿态中的第二姿态中的测距仪的第二激活,基于与测距仪的第二距离和第二姿态,在参考系中生成第二外部点的第二位置;并基于第一和第二位置确定第一和第二外部点之间的距离。
Description
背景技术
在各种应用中,测量物体的尺寸可能是必要的。例如,可在运输之前对仓库中的包裹进行尺寸标注。然而,被标注尺寸的物体在尺寸上可能有很大的差异,并且还可能被放置在距离执行尺寸标注的操作者的不同距离处。尺寸标注系统可能无法适应此类差异,或可能遭受降低的尺寸标注准确度。
附图说明
附图(其中贯穿不同的视图,相同的附图标记表示相同的或功能类似的要素)连同下面的具体实施方式被并入说明书并形成说明书的一部分,并用于进一步说明包括所要求保护的发明的概念的实施例,以及解释那些实施例的各种原理和优势。
图1是示出了用于移动尺寸标注的移动计算设备的图。
图2是图1的移动计算设备的某些内部硬件部件的框图。
图3是从底部查看的图1的移动计算设备的分解图。
图4是从顶部查看的图1的移动计算设备的分解图。
图5是移动尺寸标注方法的流程图。
图6是示出了图5的方法的框505的执行的图。
图7是示出了图5的方法的框510和框515的执行的图。
图8是示出了图5的方法的框510和框515的进一步执行的图。
图9是示出了图5的方法的框540的执行的图。
本领域技术人员将理解,附图中的要素出于简化和清楚而示出,并且不一定按尺度绘制。例如,附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本发明的实施例的理解。
已在附图中通过常规符号在合适位置表示装置和方法构成,所述表示仅示出与理解本发明的实施例有关的那些特定细节,以免因对得益于本文的描述的本领区域普通技术人员而言显而易见的细节而混淆本公开。
详细描述
本文公开的示例涉及一种移动设备,包括:跟踪传感器;和与该跟踪传感器连接的控制器,所述控制器被配置为:经由所述跟踪传感器在参考系中跟踪所述移动设备的连续姿态;处于所述多个姿态中的第一姿态中,接收指示所述移动设备和第一外部点之间的第一距离的第一距离值;在所述参考系中,基于所述第一距离值和所述第一姿态,生成所述第一外部点的第一位置;处于所述多个姿态中的第二姿态中,接收指示所述移动设备和第二外部点之间的第二距离的第二距离值,并在所述参考系中,基于所述第二距离值和所述第二姿态,生成所述第二外部点的第二位置;并且基于所述第一和第二位置,确定所述第一和第二外部点之间的距离。
本文公开的附加示例涉及一种用于移动尺寸标注的方法,包括:在移动设备的控制器处,控制跟踪传感器,从而在参考系中跟踪所述移动设备的连续姿态;在控制器处,接收指示所述移动设备和所述移动设备的第一外部点之间的第一距离的第一距离值;在控制器处,接收指示所述移动设备和所述移动设备的第二外部点之间的第二距离的第二距离值;在控制器处,基于所述第一距离值和所述第一姿态在所述参考系中生成第一位置;在控制器处,基于所述第二距离值和所述第二姿态在所述参考系中生成第二位置;以及在控制器处,基于所述第一和第二位置确定所述第一和第二外部点之间的距离。
本文公开的进一步示例涉及一种设备,包括:测距仪;连接至所述测距仪的尺寸标注控制器,所述尺寸标注控制器被配置为:获取指示所述移动设备和所述设备的第一外部点之间的第一距离的第一距离值;在参考系中,获取对应于所述第一距离值的移动设备的第一姿态;获取指示所述移动设备和所述设备的第二外部点之间的第二距离的第二距离值;在参考系中,获取对应于所述第二距离值的移动设备的第二姿态;基于所述第一距离值和所述第一姿态,在所述参考系中生成所述第一外部点的第一位置;基于所述第二距离值和所述第二姿态,在所述参考系中生成所述第二外部点的第二位置;以及基于所述第一和第二位置确定所述第一和第二外部点之间的距离。
图1描绘了一对物体100-1和100-2,诸如运输和物流设施中的物品(例如,盒子或其他包裹)。本文中描述的技术也可与各种其他物体(包括建筑、家具等的内表面和外表面)相关联地实现。图1还示出了移动计算设备104(本文中也被称为移动设备104或简单地称为设备104),该移动计算设备104能够测量与物体100中的至少一个物体相关联的距离。更一般地,如在以下讨论中将显而易见的,设备104能够测量与上述物体中的任一物体(包括图1中所示的物体100)相关联的各种距离中的任一距离。
换言之,设备104能够测量设备104自身外部的成对点之间的距离。所述点可定义物体100的边缘(例如,物体100-2的高度108)、不同物体的边缘之间的距离、给定物体的任意点之间的距离等。例如,图1示出了物体100-1上的点116和物体100-2上的点120之间的距离112。
如将对本领域技术人员显而易见的,其他尺寸标注系统可能不适于测量上述距离中的一些距离(例如,距离112)。例如,依赖于将被测量的物体的图像捕获和边缘检测的系统可能无法测量分离物体上的任意点之间的距离,诸如距离112。此外,由于视差、图像捕获质量等,此类系统可能易于不准确测量。
其他系统采用安装在角分解器上的测距设备,所述角分解器进而被固定在稳定表面上(例如,地面)。为了计算两个外部点之间的距离,采用此类系统以捕获到一个点的第一距离测量,并且旋转该测距仪以面对第二点并捕获第二距离测量。旋转的度数被角分解器捕获,并且可应用三角原理以(例如,基于旋转角和两个距离)计算两个外部点之间的距离。然而,设置和校准此类系统可能是高成本(例如,由于对高准确度角分解器的需要)和耗时的。此类系统也可能易受其运动范围的约束的影响。与上述系统相对比,设备104实现了能够测量多种距离的功能,同时允许设备104(例如,在手持操作期间)的自由移动,而不需要附加的硬件,诸如角分解器。
设备104包括设备壳体124,该设备壳体124支撑设备104的各种其他组件,包括显示器128。设备104还包括测距仪132,该测距仪132可与壳体124合并,或如图1中所说明的,由可移动地耦合至设备壳体124的分离的附件壳体136支撑。该测距仪132可实现各种合适的测距技术中的任何一种技术。在该示例中,测距仪132是激光测距仪,并因此发出激光束140并基于束140从外部点(例如,图1中的点120)的反射确定从测距仪132到外部点的距离。可由测距仪132采用的测距技术的其他示例包括超声等。
如下文将更详细地讨论的,设备104在三个维度中跟踪其当前姿态(即,设备104的位置和取向),并且还经由测距仪132获取设备104和外部点(诸如点116和点120)之间的距离。如将显而易见的,为不同点获取距离需要设备104的移动。基于上述姿态跟踪和距离测量,设备104为每个外部点生成三维坐标。然后设备104可采用该三维坐标以测量点之间的距离,诸如点116和点120之间的距离112。在讨论设备104实现的功能之前,将参考图2、图3和图4描述设备104的某些组件。
参考图2,示出了设备104的某些组件的框图。设备104包括专用控制器,诸如与非瞬态计算机可读存储介质(诸如存储器204)互连的处理器200。存储器204包括易失性存储器(例如,随机存取存储器或RAM)和非易失性存储器(例如,只读存储器或ROM、电可擦除可编程只读存储器或EEPROM、闪存存储器)的组合。处理器200和存储器204各自包括一个或多个集成电路。
设备104还包括与处理器200互连的至少一个输入设备208。输入设备208被配置为(例如,从设备104的操作者处)接收输入并将代表接收的输入的数据提供至处理器200。输入设备208包括与显示器128集成的触摸屏、键盘、触发按钮、麦克风等中的任意一个或其合适的组合。此外,设备104包括相机212,该相机212包括合适的图像传感器或图像传感器的组合。相机212被配置为捕获图像序列(例如,视频流)用于提供给处理器200和后续处理以跟踪设备104的姿态。
设备104还可包括扫描组件216(也简单地被称为扫描仪216),诸如条形码扫描仪。扫描仪216可以是基于图像的扫描仪,并因此包括除了上述与相机212互连的图像传感器之外的进一步的图像传感器。在其他示例中,扫描仪216是基于激光的扫描仪。
除了显示器128之外,设备104还可包括一个或多个其他输出设备,诸如扬声器、通知LED等(未示出)。此外,设备104包括运动传感器220,诸如包括一个或多个加速度计、一个或多个陀螺仪、和/或一个或多个磁力计的惯性测量单元(IMU)。运动传感器220被配置为生成指示检测到的设备104的移动的数据,并将数据提供至处理器200,用于与来自相机212的图像一起处理,以跟踪设备104的当前姿态。因此,相机212和运动传感器220也可被称为跟踪传感器。如将对本领域技术人员显而易见的,可采用图像传感器和/或运动传感器的其他组合以实现跟踪传感器。
存储器204存储由处理器200执行的计算机可读指令。具体而言,存储器204存储尺寸标注应用224(也被简单地称为应用224),当由处理器200执行时,该尺寸标注应用224配置处理器200以执行上文更详细讨论的各种功能,所述功能涉及设备104的姿态的跟踪并基于跟踪的姿态和距离测量生成外部点的三维位置。在其他示例中,应用224还可以被实现为不同应用的套件。
当通过应用224的执行来这样配置处理器200时,处理器200也可以称为尺寸标注控制器200。本领域技术人员将理解,在其他实施例中,处理器200经由应用224的执行所实现的功能也可以由一个或多个专门设计的硬件和固件组件(诸如FPGA、ASIC等)来实现。在进一步实施例中,尺寸标注控制器200的一些功能或所有功能可通过测距仪132的微控制器实现。术语“尺寸标注控制器”可因此指(经由应用224的执行配置的)处理器200、测距仪132控制器、或其组合。
转向图3,从底部示出了设备104的分解图,示出了设备104的某些附加特征。具体而言,该实例中的相机212的位置被示出为在设备壳体124的后(即,背对显示器128)表面。在其他示例中,额外的相机可被放置于设备壳体124的其他位置上。附件壳体136被成形和经尺寸设定为和设备壳体124的背部配合,以便可移动地将附件壳体136在预定位置中耦合至设备壳体124(即,从而使测距仪132相对于设备壳体124的位置基本上相同,无论测距仪132何时被耦合至设备壳体124)。附件壳体136包括穿过其中的开口300,当测距仪132被与设备壳体124耦合时,开口132围绕相机212放置,从而允许继续使用相机212。
附件壳体136还包括切口304,从而在测距仪132与设备壳体124耦合时,容纳扫描仪216的传感器窗口。如图3中所示,测距仪132包括配置为发射图1中所示的束140的激光发射器308,和用于检测来自束140的反射的传感器312。测距仪132还包括可与处理器200不同,或可通过处理器200实现的控制器,该控制器确定来自上述反射的距离测量。
设备壳体124和附件壳体136被提供有配合通信接口,允许控制信号和距离测量在测距仪132和处理器之间行进。在该实例中,接口包括设备壳体124的背面上的多个数据和/或功率接触件316,这些数据和/或功率接触件被连接至处理器200。转向图4,附件壳体136的内表面上的对应接口承载多个插针(例如,弹簧针)400,当附件壳体136与设备壳体124耦合时,所述多个插针400与接触件316接合。
现在转到图5,将更详细地讨论通过设备104实现的功能。图5示出了尺寸标注方法500,下面将接合其通过设备104的性能对此进行讨论。
在框505处,设备104发起姿态跟踪。即,设备104开始在任何合适的频率下(例如,在大约30或60赫兹的频率下,尽管也可采用各种其他姿态估计频率)开始跟踪连续姿态(即,设备104在三个维度中的位置和取向)。通过设备104生成的姿态估计所用的频率可依赖于,例如,相机212的帧率和/或运动传感器220的采样频率。可响应于接收到输入命令发起姿态跟踪,例如,经由输入设备208来自设备104的操作者处的输入命令。
为了跟踪设备104的姿态,处理器200控制跟踪传感器以捕获代表设备104的周围以及设备104的运动的数据。在该示例中,处理器200控制相机212以开始捕获图像流并将图像提供至处理器200。处理器200还控制运动传感器220以提供运动数据(例如,定义影响设备104的加速度,以及设备104的取向的变化)。处理器200检测来自相机212的图像中的一个或多个图像特征,并跟踪图像间的此类特征的位置变化。特征的示例包括经由任何合适的特征检测算法可检测的拐角、边缘(例如,梯度的变化)和其他特征。图像间的此类特征的移动指示设备104的移动。
可将上述图像特征的位置以及来自运动传感器220的运动数据作为输入提供至通过处理器200实现的姿态估计器,诸如卡尔曼滤波。各种机制是本领域技术人员将易于想到的,以将图像和/或运动传感器数据接合,从而生成姿态估计。此类机制的示例包括那些通过由谷歌有限责任公司提供的ACRcore软件开发工具包和由苹果公司提供的ARKit软件开发工具包实现的机制。
转向图6,示出了在框505处确定的姿态估计示例,包括位置600和取向604。位置600代表设备104的质心的位置,但在其他实施例中,位置600可对应于设备104的不同点。取向604代表设备104的前部(例如,承载图3中所示的扫描仪216的前表面)目前朝向的方向。位置600和取向604时相对于三维参考系608定义的。具体而言,位置600是通过沿参考系608的三个轴中的每个轴的位置定义的,并且取向604是通过三个平面中的每个平面中的角(XY平面中的角612、XZ平面中的角616、和ZY平面中的角620)定义的。参考系608的原点是在框505的执行开始时,通过设备104任意地定义的。例如,参考系608的原点可被设置为设备104的质心的目前位置。因此,基于姿态跟踪开始的第一跟踪姿态可具有位置[0,0,0],指示设备104位于参考系608的原点处。
框505处的姿态跟踪一旦开始,是通过方法500的其余部分连续地执行的。因此,再次参考图5,在框510处(当位置跟踪继续时),处理器200接收距离测量。具体地,该距离测量是从测距仪132在处理器200处接收的。可响应于(例如,来自设备104的操作者的)触发命令接收距离测量,或可由处理器200自动地请求距离测量。即,在框510处,测距仪132可被指示以响应于手动测量模式中的输入生成距离测量,或在连续测量模式中自动地生成距离测量(例如,在期望周期下,诸如10赫兹、30赫兹、60赫兹、或其他合适的频率中的任一频率)。
(例如,经由输入208)可从在显示器128上呈现的对应于上述手动和连续模式的选项中选择设备104在其中操作的模式。在其他示例中,可省略以上模式中的一个模式或另一个模式,并且也可因此省略模式选择。如将在下文中更详细讨论的,尺寸的生成依赖于设备104操作的模式。
图7示出了框510的执行,其中,处理器200获取物体100-2上的点120的距离测量700,也如图1中所示。距离700代表设备104的参考原点(例如,位置600)和外部点之间的距离。如图7的低部中的侧视图中所示,从测距仪132返回至处理器200的数据可定义距离700自身,或可定义中间测量,诸如从外部点到测距仪132自身的参考原点708的距离。参考原点708被示出为测距仪132的质心,但也可以是测距仪132的任何其他点(例如,测距仪132的一个经选择的拐角)。在此类示例中,处理器200(例如,从存储器204中)检索校准数据,该校准数据定义测距仪参考原点708和设备104的参考原点的位置600之间的几何变换712,以生成距离700。
返回图5,在框515处,基于在框510处接收的距离和设备104的当前姿态,处理器200根据参考系608生成第一外部点的位置。如前所述,设备104的姿态被连续地跟踪。因此,在框515处,处理器200也可选择正在被生成的姿态的连续序列中的一个姿态,以供在框515处生成位置中使用。例如,被选择的姿态可经选择为在时间上和框510处接收的距离测量一致。例如,可通过将源自位置600处并根据取向604定向的向量延伸与距离700相等的距离,完成框515处的位置生成。如图7中所示,从而在参考系608中获取了位置716。位置716包括三维坐标组(例如,参考系608中的X,Y和Z坐标)。
在框520处,方法500的执行依赖于设备104在其中操作的激活模式而分叉。当设备104处于手动尺寸标注模式中时(包括那些手动模式是唯一模式的实施例),方法500的执行前进至框525。下文将进一步讨论连续尺寸标注模式。
在框525处,设备104确定是否已经通过框510和框515的对应的一对执行生成一对位置。当框525处的确定结果为否定时,框510和框515重复,如上所述(同时,经由框505执行连续姿态跟踪)。转向图8,示出了框510和框515的进一步执行。如图8中所示,设备104已经(例如,经由设备104的操作者的移动)被再次定位,以将测距仪132的激光指向物体100-1上的外部点116。设备104的当前姿态通过设备质心的位置800和取向804在参考系中表示。测距仪132(例如,基于上述的触发输入的进一步激活)返回距离测量808。基于设备104的当前姿态(即,在距离808被捕获之时),处理器200生成参考系608中的第二位置816。
转向图5,因为已经生成了两个位置(716和816),在框525处的进一步执行为肯定的。处理器200因此前进至框530。在框530处,基于经由框510和框515的连续执行获取的第一和第二位置(并基于经由框505获取的对应的设备姿态),处理器200生成尺寸。在框530处生成的尺寸是来自框515的位置之间的距离。即,方法500的该示例执行中的尺寸是距离112,如图8中所示(之前也示出于图1中)。在框530处生成的尺寸可被存储在存储器204中,被呈现在显示器128上,等等。在一些示例中,设备104包括附加相机,该附加相机具有涵盖测距仪132的视场的视场。在此类示例中,在框530处,尺寸可被呈现在覆盖于描绘被标注尺寸的物体的图像上的显示器上。在此类示例中,上述相机也可被用作取景器,用于将测距仪132对准远处的物体,裸眼可能看不到该远处的物体上的激光点。
在框535处,设备104确定是否已经接收到中断命令以终止尺寸标注。该中断可以是经由输入208接收的命令。在其他示例中,该中断可以是自动的,例如,基于框530的完成。当框535处的确定结果为否定时,可如上所述获取外部点的进一步的位置,并对其进行尺寸标注。当框535处的确定结果为肯定时,方法500的执行结束。
现在将描述在连续尺寸标注模式中通过设备104实现的附加功能。如上所述,当处于手动模式中时,在框520处,设备104前进至框525。当设备104在连续的或自动的尺寸标注模式中操作时,设备104反之从框520前进至框540。
在连续模式中,处理器200(例如,在预定频率下)自动地触发测距仪,而非响应于(例如,来自设备104的操作者的)输入,接收距离测量并生成对应于外部点的位置。处理器200根据参考系608对每个捕获的距离测量生成位置。在框540处,通过确定目前生成的位置序列是否对应于相邻边缘对,处理器200确定是否生成尺寸。当确定结果为否定时,处理器200继续收集距离测量并继续生成更远外部点的位置。然而,当框540处的确定结果为肯定时,处理器200前进至框530,并生成上述边缘对之间的尺寸。
可通过处理器200采用各种机制,以基于在框515的连续迭代处生成的位置来检测边缘。转向图9,物体100-1连同对应于物体100-1上的点对应的位置组被示出。位置开始于物体100-1的左表面上的位置900(从读取器的角度),并结束于物体100-1的右表面上的位置904,穿过位置900和位置904之间的前表面。换言之,为了生成图9中所示的多个位置,设备104可被操作者操纵,以将测距仪132的束140扫过物体100-1的左表面、前表面和右表面。
在一些示例中,通过将平面拟合至三个位置的连续子集,处理器200从经由框515生成的位置处检测边缘。因此,如图9中所示,示出了连续平面908-1、908-2、908-3、908-4和908-5,其中每个都是通过将平面拟合至三个连续位置生成的。经由滑动窗口选择为平面908选择的三个位置,从而使任意给定平面908中的三个位置中的两个位置也存在于前一平面908中,并且三个位置中的两个位置也存在于下一平面908中。可经由任何合适的算法(诸如随机抽样一致(RANSAS)等)执行平面拟合。
处理器200比较每一相邻平面对(例如,平面908-1和平面908-2)的取向,并确定被比较的平面之间的取向差异是否超过阈值。例如,阈值可以是角度阈值,从而使得如果两个平面偏离平行超过阈值(例如,10度),则阈值被超过。如果取向差异不超过阈值,平面被假定为表示物体由边缘分离的不同表面。当检测到两个边缘时——在该示例中,是分隔平面908-1和平面908-2的边缘和分隔平面908-4和平面908-5的边缘——处理器200选择对应于边缘的位置,并在框530处确定经选择的位置之间的尺寸。例如,通过首先选择具有不同取向的两个相邻平面908的最外位置(例如,平面908-1的最左位置,和平面908-2的最右位置),可选择对应于边缘的位置。处理器200然后可计算平面908-1和平面908-2之间的相交线的位置,并在相交线上选择与上述最外位置之间总距离最小的位置。在其他实施例中,在采样频率被充分提升(例如,60赫兹)的情况下,可简单地选择最外位置中的任一位置作为边缘位置。在该示例中,尺寸对应于物体100-1的宽度912。
在其他实施例中,在连续尺寸标注模式中,设备104也可为经由框520正在被标注尺寸的物体生成虚拟模型。具体而言,在框530处,设备104可基于检测到的边缘和其间的尺寸生成虚拟表面。该虚拟表面在某些方向中可能无边界(例如,在图9中所示的示例中,宽度912是可得到的,但尚未知晓高度)。(例如,响应于设备104从物体100-1的后表面,经过顶表面并沿着前表面扫过,)经由框515处进一步位置的生成,使得设备104能够生成对应于物体100-1的顶部的进一步虚拟表面。在上述虚拟表面之间的相交定义前表面的高度。可采用设备104额外扫过物体100-1的其他表面,以生成代表物体100-1的其他侧面的进一步虚拟表面。
如现在将显而易见的,也可采用上述方法以生成对应于房间的内部的虚拟表面。例如,可操纵设备104以将束140围绕房间的墙壁扫过(例如,总体上水平的扫过),并沿着天花板、底板和间隔墙扫过(例如,总体上垂直的扫过)。设备104然后可基于每个墙壁、底板和天花板的检测到的边缘生成一组虚拟表面。
如前所述,可通过处理器200和测距仪132中的一者或两者(例如,测距仪132的专用控制器)实现尺寸标注控制器200。在一些实施例中,测距仪132实现尺寸标注控制器。因此,尺寸标注控制器如上所述获取距离测量,并且也从处理器200接收姿态。然后,尺寸标注控制器基于距离和姿态在参考系中生成位置。
在上述说明书中,已经描述了具体实施例。然而,本领域普通技术人员理解,可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此,说明书和附图被认为是说明性的而非限制性的意义,并且所有此类修改都旨在被包括在本教导的范围内。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定,包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。
此外,在该文档中,诸如第一和第二、顶部和底部等之类的关系术语可以单独地用于区分一个实体或动作与另一实体或动作,而不一定要求或暗示此类实体或动作之间具有任何实际的此类关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括,使得包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素,在没有更多约束条件的情形下,不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个,除非本文中另有明确声明。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近,并且在一个非限制性实施例中,这些术语被定义为在10%以内,在另一实施例中在5%以内,在另一实施例中在1%以内,而在另一实施例中在0.5%以内。本文中使用的术语“耦合的”被定义为连接的,尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置,但也可以以未列出的方式进行配置。
将理解,一些实施例可以包括一个或多个专用处理器(或“处理设备”),诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者),所述唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地,一些或全部功能可以由不具有存储的程序指令的状态机来实现,或者在一个或多个专用集成电路(ASIC)中实现,其中,每种功能或所述功能中的某些功能的一些组合被实现为定制逻辑。当然,也可以使用这两种方法的组合。
此外,实施例可以实现为计算机可读存储介质,该计算机可读存储介质具有存储在其上的计算机可读代码,用于对(例如,包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。此类计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及闪存。此外,预期本领域普通技术人员虽然做出由例如,可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择,但在得到本文所公开的概念和原理指导时,将容易地能以最少的试验产生此类软件指令和程序以及IC。
本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要,并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外,在上述具体实施方式中,可以看出出于使本公开整体化的目的,各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反,如以下权利要求所反映,发明主题在于少于单个公开的实施例的全部特征。因此,以下权利要求由此被并入具体实施方式中,其中各个权利要求作为单独要求保护的主题代表其自身。
Claims (23)
1.一种移动设备,包括:
跟踪传感器;以及
与所述跟踪控制器连接的控制器,所述控制器被配置为:
经由所述跟踪传感器在参考系中跟踪所述移动设备的连续姿态;
处于所述多个姿态的第一姿态中,接收指示所述移动设备和第一外部点之间的第一距离的第一距离值;
在所述参考系中,基于所述第一距离值和所述第一姿态,生成所述第一外部点的第一位置;
处于所述多个姿态中的第二姿态中,接收指示所述移动设备和第二外部点之间的第二距离的第二距离值,并在所述参考系中,基于所述第二距离值和所述第二姿态,生成所述第二外部点的第二位置;并且
基于所述第一和第二位置,确定所述第一和第二外部点之间的距离。
2.如权利要求1所述的移动设备,其特征在于,所述跟踪传感器包括惯性测量单元(IMU)和相机;并且
其中,为了跟踪所述移动设备的连续姿态,所述控制器被配置为:
从所述IMU获取运动数据;
在由所述相机捕获的连续图像中检测特征的位置;并且
将所述运动数据和所述特征的位置结合。
3.如权利要求1所述的移动设备,进一步包括:
测距仪,所述测距仪被配置为响应于所述测距仪的第一和第二激活,测量所述移动设备与所述第一和第二外部点之间的所述第一和第二距离值;其中,所述控制器被配置为从所述测距仪接收所述第一和第二距离值。
4.如权利要求3所述的移动设备,其特征在于,所述控制器被配置为持续地跟踪所述连续姿态,并选择在时间上与所述测距仪的所述第一和第二激活一致的所述第一和第二姿态。
5.如权利要求3所述的移动设备,进一步包括与所述控制器连接的输入。
6.如权利要求5所述的移动设备,其特征在于,所述测距仪的所述第一和第二激活是通过经由所述输入接收的相应命令引起的。
7.如权利要求5所述的移动设备,其特征在于,所述测距仪的所述第一和第二激活是响应于所述移动设备在连续测量模式中的操作,通过所述控制器自动地引起的。
8.如权利要求7所述的移动设备,其特征在于,所述控制器被进一步配置为经由所述输入接收模式选择,并且基于所述模式选择激活所述连续测量模式和手动测量模式中的一个模式。
9.如权利要求1所述的移动设备,其特征在于,所述控制器被进一步配置为:
在所述参考系中,针对包括所述第一和第二外部点的对应的多个外部点生成包括所述第一和第二位置的多个位置;
在确定所述第一和第二点之间的所述距离之前,检测所述第一和第二点对应于物品的相应边缘。
10.如权利要求9所述的移动设备,其特征在于,为了检测所述第一点对应于边缘,所述第一控制器被配置为:
将相应平面拟合至包括所述第一点的所述点的多个重叠子集中的每个子集,并且
检测所述平面的取向之间的差异超过阈值。
11.如权利要求3所述的移动设备,其特征在于,进一步包括:
设备壳体,所述设备壳体支撑所述控制器和所述跟踪传感器;以及
附件壳体,所述附件壳体支撑所述测距仪,其中,所述附件壳体被可移动地耦合至所述设备壳体。
12.如权利要求11所述的移动设备,其特征在于,所述跟踪传感器包括相机,并且其中所述附件壳体包括穿过其中的开口,当所述附件壳体被耦合至所述设备壳体时,所述开口被放置在所述相机上方。
13.如权利要求11所述的移动设备,进一步包括由所述设备壳体支撑的扫描仪;其中,所述附件壳体包括切口,当所述附件壳体被耦合至所述设备壳体时,所述切口被放置在所述扫描仪的至少部分上方。
14.一种用于移动尺寸标注的方法,包括:
在移动设备的控制器处,控制跟踪传感器跟踪所述移动设备在参考系中的连续姿态;
在所述控制器处,接收指示所述移动设备与所述移动设备的第一外部点之间的第一距离的第一距离值;
在所述控制器处,接收指示所述移动设备与所述移动设备的第二外部点之间的第二距离的第二距离值;
在所述控制器处,基于所述第一距离值和所述第一姿态,在所述参考系中生成所述第一外部点的第一位置;
在所述控制器处,基于所述第二距离值和所述第二姿态,在所述参考系中生成所述第二外部点的第二位置;以及
在所述控制器处,基于所述第一和第二位置,确定所述第一和第二外部点之间的距离。
15.如权利要求14所述的方法,其特征在于,所述跟踪传感器包括惯性测量单元(IMU)和相机;并且其中所述方法进一步包括:
在所述控制器处,通过检测由所述相机捕获的连续图像中的特征的位置,跟踪所述移动设备的连续姿态;并将所述运动数据和所述特征的位置结合。
16.如权利要求14所述的方法,进一步包括:
在所述控制器处,响应于处于所述第一姿态中的所述移动设备的测距仪的第一激活,控制测距仪以测量所述第一距离值;以及
在所述控制器中,响应于处于所述第二姿态中的所述测距仪的第二激活,控制所述测距仪以测量所述第二距离值。
17.如权利要求16所述的方法,进一步包括在所述控制器处:
持续地跟踪所述连续姿态;以及
选择在时间上与所述测距仪的所述第一和第二激活一致的所述第一和第二姿态。
18.如权利要求16所述的方法,进一步包括在所述控制器处:
从所述移动设备的输入处,接收对应于所述测距仪的所述第一和第二激活的相应命令。
19.如权利要求16所述的方法,进一步包括在所述控制器处:
响应于所述移动设备在连续测量模式中的操作,自动地生成所述测距仪的所述第一和第二激活。
20.如权利要求19所述的方法,进一步包括在所述控制器处:
经由所述移动设备的输入接收模式选择;以及
基于所述模式选择,激活所述连续测量模式和手动测量模式中的一个模式。
21.如权利要求16所述的方法,进一步包括在所述控制器处:
在所述参考系中,针对包括所述第一和第二外部点的对应的多个外部点生成包括所述第一和第二位置的多个位置;
在确定所述第一和第二点之间的所述距离之前,检测所述第一和第二点对应于物品的相应边缘。
22.如权利要求21所述的方法,其特征在于,检测所述第一点对应于边缘包括:
将相应平面拟合至包括所述第一点的所述点的多个重叠子集中的每个子集,并且
检测所述平面的取向之间的差异超过阈值。
23.一种设备,包括:
测距仪;
连接至所述测距仪的尺寸标注控制器,所述尺寸标注控制器被配置为:
获取指示所述移动设备和所述移动设备的第一外部点之间的第一距离的第一距离值;
在参考系中,获取对应于所述第一距离值的移动设备的第一姿态;
获取指示所述移动设备和所述移动设备的第二外部点之间的第二距离的第二距离值;
在参考系中,获取对应于所述第二距离值的移动设备的第二姿态;
在所述参考系中,基于所述第一距离值和所述第一姿态,生成所述第一外部点的第一位置;
在所述参考系中,基于所述第二距离值和所述第二姿态,生成所述第二外部点的第二位置;以及
基于所述第一和第二位置,确定所述第一和第二外部点之间的距离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/596,297 US11776153B2 (en) | 2019-10-08 | 2019-10-08 | Method, system and apparatus for mobile dimensioning |
US16/596,297 | 2019-10-08 | ||
PCT/US2020/051075 WO2021071640A1 (en) | 2019-10-08 | 2020-09-16 | Method, system and apparatus for mobile dimensioning |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114502915A true CN114502915A (zh) | 2022-05-13 |
CN114502915B CN114502915B (zh) | 2024-03-29 |
Family
ID=75274262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080070381.4A Active CN114502915B (zh) | 2019-10-08 | 2020-09-16 | 用于移动尺寸标注的方法、系统和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11776153B2 (zh) |
CN (1) | CN114502915B (zh) |
DE (1) | DE112020004829T5 (zh) |
GB (1) | GB2602604A (zh) |
WO (1) | WO2021071640A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD914684S1 (en) * | 2018-06-11 | 2021-03-30 | Zebra Technologies Corporation | Mobile computing device |
US20230351738A1 (en) * | 2022-04-27 | 2023-11-02 | Zebra Technologies Corporation | System and Method for Selecting a Dimensioning Function and Dimensioning an Object |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100074473A1 (en) * | 2008-09-19 | 2010-03-25 | Honeywell International Inc. | System and method of extracting plane features |
CN101996002A (zh) * | 2008-12-12 | 2011-03-30 | 硅谷实验室公司 | 用于光学姿态识别的装置和方法 |
US20110288818A1 (en) * | 2010-05-21 | 2011-11-24 | Sure-Shot Medical Device, Inc. | Method and Apparatus for Dimensional Measurement |
US20130249784A1 (en) * | 2012-03-22 | 2013-09-26 | Fredrik BR Gustafson | Method and Device for Pose Tracking Using Vector Magnetometers |
US20140031700A1 (en) * | 2010-12-27 | 2014-01-30 | Joseph Ralph Ferrantelli | Method and system for measuring anatomical dimensions from a digital photograph on a mobile device |
CN104246535A (zh) * | 2012-09-19 | 2014-12-24 | 法罗技术股份有限公司 | 用于使用手持设备来利用激光跟踪仪选择、锁定和跟踪后向反射器的方法 |
CN104251696A (zh) * | 2011-03-14 | 2014-12-31 | 法罗技术股份有限公司 | 通过激光跟踪仪对维度数据的自动测量 |
CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
US20150373321A1 (en) * | 2014-06-12 | 2015-12-24 | Faro Technologies, Inc. | Six degree-of-freedom triangulation scanner and camera for augmented reality |
US20160364871A1 (en) * | 2015-06-12 | 2016-12-15 | Google Inc. | Using a Depth Map of a Monitored Scene to Identify Floors, Walls, and Ceilings |
US20200242793A1 (en) * | 2019-01-28 | 2020-07-30 | Cognex Corporation | Object dimensioning system and method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9788759B2 (en) | 2010-12-27 | 2017-10-17 | Joseph Ralph Ferrantelli | Method and system for postural analysis and measuring anatomical dimensions from a digital three-dimensional image on a mobile device |
US9612115B2 (en) * | 2012-06-07 | 2017-04-04 | Trackingpoint, Inc. | Target-correlated electronic rangefinder |
US10188225B2 (en) * | 2014-05-01 | 2019-01-29 | Mettler-Toledo, LLC | Adjustable scanner mounting assembly and method |
JP2017129567A (ja) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US10977810B2 (en) * | 2018-12-06 | 2021-04-13 | 8th Wall Inc. | Camera motion estimation |
-
2019
- 2019-10-08 US US16/596,297 patent/US11776153B2/en active Active
-
2020
- 2020-09-16 WO PCT/US2020/051075 patent/WO2021071640A1/en active Application Filing
- 2020-09-16 GB GB2204914.2A patent/GB2602604A/en active Pending
- 2020-09-16 CN CN202080070381.4A patent/CN114502915B/zh active Active
- 2020-09-16 DE DE112020004829.2T patent/DE112020004829T5/de active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100074473A1 (en) * | 2008-09-19 | 2010-03-25 | Honeywell International Inc. | System and method of extracting plane features |
CN101996002A (zh) * | 2008-12-12 | 2011-03-30 | 硅谷实验室公司 | 用于光学姿态识别的装置和方法 |
US20110288818A1 (en) * | 2010-05-21 | 2011-11-24 | Sure-Shot Medical Device, Inc. | Method and Apparatus for Dimensional Measurement |
US20140031700A1 (en) * | 2010-12-27 | 2014-01-30 | Joseph Ralph Ferrantelli | Method and system for measuring anatomical dimensions from a digital photograph on a mobile device |
CN104251696A (zh) * | 2011-03-14 | 2014-12-31 | 法罗技术股份有限公司 | 通过激光跟踪仪对维度数据的自动测量 |
US20130249784A1 (en) * | 2012-03-22 | 2013-09-26 | Fredrik BR Gustafson | Method and Device for Pose Tracking Using Vector Magnetometers |
CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
CN104246535A (zh) * | 2012-09-19 | 2014-12-24 | 法罗技术股份有限公司 | 用于使用手持设备来利用激光跟踪仪选择、锁定和跟踪后向反射器的方法 |
US20150373321A1 (en) * | 2014-06-12 | 2015-12-24 | Faro Technologies, Inc. | Six degree-of-freedom triangulation scanner and camera for augmented reality |
US20160364871A1 (en) * | 2015-06-12 | 2016-12-15 | Google Inc. | Using a Depth Map of a Monitored Scene to Identify Floors, Walls, and Ceilings |
US20200242793A1 (en) * | 2019-01-28 | 2020-07-30 | Cognex Corporation | Object dimensioning system and method |
Also Published As
Publication number | Publication date |
---|---|
US20210104061A1 (en) | 2021-04-08 |
CN114502915B (zh) | 2024-03-29 |
DE112020004829T5 (de) | 2022-06-23 |
GB2602604A (en) | 2022-07-06 |
GB202204914D0 (en) | 2022-05-18 |
WO2021071640A1 (en) | 2021-04-15 |
US11776153B2 (en) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10451189B2 (en) | Auto range control for active illumination depth camera | |
US9470511B2 (en) | Point-to-point measurements using a handheld device | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US10277889B2 (en) | Method and system for depth estimation based upon object magnification | |
US9626776B2 (en) | Apparatus, systems, and methods for processing a height map | |
US20070058838A1 (en) | Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection | |
US9995567B2 (en) | Method and device for determining 3D coordinates of an object | |
CN114502915B (zh) | 用于移动尺寸标注的方法、系统和装置 | |
CN107076847B (zh) | 电子设备、电子设备的控制方法及记录介质 | |
EP3992660A1 (en) | Simultaneous localization and mapping algorithms using three-dimensional registration | |
WO2013035096A2 (en) | System and method of tracking an object in an image captured by a moving device | |
CN109313883B (zh) | 基于面部取向检测的图像取向 | |
US20160259418A1 (en) | Display interaction detection | |
EP4109137A1 (en) | Capturing environmental scans using automated transporter robot | |
EP3754547B1 (en) | Shape dependent model identification in point clouds | |
US20210343035A1 (en) | Reference Surface Detection for Mobile Dimensioning | |
EP3792663A1 (en) | A system and method of defining a path and scanning an environment | |
CN115667842A (zh) | 用于尺寸标注对象的系统和方法 | |
US20200175706A1 (en) | Three-dimensional position detecting device, three-dimensional position detecting system and method for detecting three-dimensional positions | |
US11480425B2 (en) | Method, system and apparatus for mobile dimensioning | |
US20230112666A1 (en) | System and Method for Detecting Calibration of a 3D Sensor | |
CN105929819B (zh) | 一种控制电子设备的方法及电子设备 | |
EP3916425A1 (en) | Alignment and registration system and method for coordinate scanners | |
US20240103121A1 (en) | Computing Device and Method for Wireless Transmitter Surveying | |
Sim et al. | Closed loop-based extrinsic calibration of multi-modal sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |