CN111316320B - 用于快速确定对象尺寸的方法和装置 - Google Patents

用于快速确定对象尺寸的方法和装置 Download PDF

Info

Publication number
CN111316320B
CN111316320B CN201880072124.7A CN201880072124A CN111316320B CN 111316320 B CN111316320 B CN 111316320B CN 201880072124 A CN201880072124 A CN 201880072124A CN 111316320 B CN111316320 B CN 111316320B
Authority
CN
China
Prior art keywords
appendage
processor
computer
corner
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072124.7A
Other languages
English (en)
Other versions
CN111316320A (zh
Inventor
N·D·特里库克斯
M·J·詹妮塔
M·L·科沃斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Symbol Technologies LLC
Original Assignee
Symbol Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Symbol Technologies LLC filed Critical Symbol Technologies LLC
Publication of CN111316320A publication Critical patent/CN111316320A/zh
Application granted granted Critical
Publication of CN111316320B publication Critical patent/CN111316320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了用于快速确定对象尺寸的方法和装置。一种示例方法包括由多个照相机捕获表示对象的图像数据;由处理器分析该图像数据以标识该对象的多个候选拐角;由处理器检测附加物与候选拐角中的每一个的邻近度;由处理器基于附加物与对象的候选拐角的各自邻近度,确认候选拐角中的第一个拐角是对象的拐角;并且由处理器基于对象的已经确认拐角来计算对象的尺寸。

Description

用于快速确定对象尺寸的方法和装置
背景技术
在库存环境中,诸如零售商店、仓库、运输设施等,了解盒对象的尺寸是很有用的。现存成像系统能够通过标识盒对象的拐角来估计盒对象的尺寸。但是,这些现存系统通常需要很长时间才能从所有可能的拐角中标识出盒对象的实际拐角。此外,如果不正确标识实际拐角,可能会出现尺寸确定错误。
附图说明
附图(其中相同的附图标记在全部单独的视图中指示相同的或功能类似的要素)连同下面的详细描述被包括于此并形成说明书的一部分,并用来进一步图示本文公开的概念的实施例,以及解释那些实施例的各种原理和优势。
图1是根据一些实施例构造的示例HUD组件的框图。
图2A和图2B示出了根据一些实施例的可以实现图1的示例HUD组件的示例HUD组件。
图3示出了根据一些实施例的安装到用户头部的图2A和图2B的示例HUD组件。
图4示出了根据一些实施例的安装到示例HUD组件的示例光引擎。
图5示出了佩戴具有安装至示例HUD组件的照相机的示例HUD组件的用户,并且用户正在观看要被确定尺寸的示例盒对象。
图6是表示根据一些实施例的示例逻辑电路的框图。
图7是根据一些实施例的使用HUD组件的成像系统的示意图。
图8示出了根据一些实施例的条形码被放置在盒对象的表面上。
图9A是根据一些实施例的HUD组件的用户在确定盒对象的尺寸时可以看到的显示的示例,该示例示出了盒对象的捕获图像,其中盒对象的一个面上具有几何标记。
图9B是根据一些实施例的HUD组件的用户在确定盒对象的尺寸时可以看到的显示的示例,该示例中显示盒对象的尺寸和体积。
图10A示出了根据一些实施例的盒对象的捕获图像。
图10B示出了根据一些实施例的捕获图像中的一些边缘线。
图10C示出了根据一些实施例的捕获图像中作为盒对象的潜在拐角点的一些点。
图11是根据一些实施例的确定盒对象的尺寸的方法的流程图。
图12是根据一些实施例的分析图像数据以标识盒对象的多个潜在拐角点的方法的流程图。
图13是根据一些实施例的检测用户附加物相对于盒对象的潜在拐角的位置的方法的流程图。
本领域技术人员将理解附图中的要素出于简化和清楚而示出,并且不一定按比例绘制。例如,图中的元件中的一些的尺寸可以相对于其他元件被放大,以帮助改进对本文所公开的实施例的理解。
已在附图中通过常规符号在适当位置对装置和方法构成进行了表示,所述表示仅示出与理解本文公开的实施例有关的那些特定细节,以免因得益于本文的描述对本领域技术人员显而易见的细节而混淆本公开。
具体实施方式
提供了用于快速确定盒对象的尺寸的系统和方法。上述系统和方法可以包括多个照相机,该多个照相机被配置成捕获表示对象的图像数据。处理器可以分析图像数据以标识对象的多个候选拐角,并且检测附加物与候选拐角中的每一个的邻近度。基于附加物与对象的每一个候选拐角的邻近度,对象的候选拐角中的一个被确认为对象的拐角。一旦对象的至少两个拐角被标识和确认,该处理器可以基于盒对象的实际拐角计算对象的尺寸和/或体积。有利的是,可以从候选拐角中快速地标识对象的实际拐角,极大地减少处理时间并加快尺寸确定。
图1是根据本公开的教导构造的示例HUD组件100的框图。图1的示例HUD组件100的替代实现方式包括一个或多个附加或替代元件、过程和/或设备。在一些示例中,可以组合、分割、重新布置或省略图1的示例HUD组件100的元件、过程和/或设备中的一个或多个。
图1的示例HUD组件100包括呈现生成器102和头戴件104。头戴件104构造为将呈现生成器102安装到人的头部,使得由呈现生成器102生成的呈现可由人消费。该呈现包括可视媒体部件(例如,图像)和/或音频媒体部件。为了生成诸如静态或动画文本和/或图形的图像,图1的示例呈现生成器102包括图像生成器106。图1的示例图像生成器106与一个或多个图像数据源通信。在图像生成器106处接收到的图像数据表示例如,文本、图形和/或增强现实元素(例如,覆盖在视场内的对象上的信息)。图1的示例图像生成器106包括光引擎108,光引擎108将接收的图像数据转换为成光的模式和脉冲。光引擎108将生成的光通信到波导110,使得与接收的数据相对应的图像经由波导110显示给用户。在一些示例中,光引擎110包括在将光提供给波导110之前调节或操纵(例如,偏振和/或准直)所生成的光的光学器件。虽然示例图像生成器106利用光引擎108和波导来呈现该呈现的视觉部件,但是图1的示例HUD组件100可以采用任何合适的图像生成技术,诸如阴极射线管(CRT)设备或扫描激光器。
在图1的示例中,光引擎108基于接收的数据,利用光源(例如,发光二极管[LED])来生成光。在一些示例中,光引擎108接收处理过的数据,该处理过的数据处于可立即转换成光的状况下。在一些示例中,光引擎108在将图像数据转换成光之前处理原始图像数据。为了执行此类处理,图1的示例光引擎108包括与被配置为处理图像数据的一个或多个逻辑电路和/或与被配置为处理图像数据的一个或多个逻辑电路通信。
图1的示例波导110以与图像数据相对应的方向和模式携带从光引擎108接收的光。在示出的示例中,波导110包括多个内表面,该内表面形成光导,以在光从输入到输出行进时内部地反射光。示例波导110在输出端处包括光栅,以使光朝向用户的眼睛衍射,从而向用户显示图像。图1的示例波导110包括第一透镜和第二透镜,该第一透镜和第二透镜被布置成分别放置在用户的第一眼睛和第二眼睛上。然而,任何合适的形状或尺寸对于波导110都是可能的。在示出的示例中,波导110是透明的,使得用户可以与显示的图像同时查看周围环境,或者当波导110上没有图像显示时仅查看周围环境。
图1的示例呈现生成器102包括音频生成器112,音频生成器112接收音频数据并经由耳机插孔114和/或扬声器116将该音频数据转换成声音。在一些示例中,音频生成器112和图像生成器106协同生成视听呈现。
在图1的示例中,示例呈现生成器102包括(例如,容纳)多个传感器118。在图1的示例中,多个传感器118包括光传感器122、运动传感器124(例如,加速度计)、陀螺仪126、麦克风128。在一些实例中,多个传感器118可以包括被配置为检测由蓝牙低能量无线电传输的信号的传感器,例如,与用户的附加物相关联的传感器。在一些示例中,由示例图像生成器106和/或音频生成器112生成的呈现受由一个或多个传感器118生成的一个或多个测量和/或检测的影响。例如,由图像生成器106生成的显示的特性(例如,不透明度)可以取决于由光传感器120检测到的环境光的强度。附加地或替代地,通过由一个或多个传感器118生成的测量和/或检测来确定一个或多个模式、操作参数或设置。例如,如果运动传感器122在阈值时间量内没有检测到运动,则呈现生成器102可以进入待机模式。
图1的示例呈现生成器102包括照相机子系统128。在一些示例中,照相机子系统128安装在与呈现生成器102相同的壳体上或由与呈现生成器102相同的壳体携带。在一些示例中,照相机子系统128安装至头戴件104或由头戴件104携带。示例照相机子系统128包括至少两个照相机130和麦克风132,以分别捕获表示HUD组件100周围的环境的图像数据和音频数据。在一些示例中,由照相机130和/或麦克风132捕获的图像和/或音频数据与由图像生成器106和/或音频生成器112生成的呈现集成。例如,图1的照相机子系统128将数据通信到图像生成器102,图像生成器102可以处理图像数据并且以在波导110上生成一个或多个相对应的图像。在一些示例中,分别由照相机130和/或麦克风132捕获的图像数据和/或音频数据存储在示例HUD组件100的存储器135中。在一些示例中,分别由照相机130和/或麦克风132捕获的图像数据和/或音频数据经由例如照相机子系统128的USB接口134通信到HUD组件100外部的设备(例如,服务器或外部存储器)。
图1的示例呈现生成器102包括多个接口136,多个接口136被配置为使得HUD组件100能够与一个或多个外部设备136和一个或多个网络138通信。在图1的示例中,接口136包括将数据从一种格式转换为另一种格式的转换器140(例如,HDMI到LVDS-RGB转换器)、USB接口142和
Figure GDA0002811592660000051
音频发射器146。在一些示例中,示例
Figure GDA0002811592660000052
音频发射器146与HUD组件100的麦克风126、132中的一个或两个协同以接收来自用户的语音输入并将该语音输入传送到外部设备136中的一个或多个。例如,可以使用
Figure GDA0002811592660000053
音频发射器146经由HUD组件100向用户正在佩戴的移动计算设备提供语音输入。示例外部设备136包括键盘、
Figure GDA0002811592660000054
点击按钮、智能手表和移动计算设备。
示例图像生成器106、示例光引擎108、示例音频生成器112、示例照相机子系统128、示例转换器140、示例USB接口134、144和/或更一般地,图1的示例呈现生成器102通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。在一些示例中,示例图像生成器106、示例光引擎108、示例音频生成器112、示例照相机子系统128、示例转换器140、示例USB接口134、144和/或更一般地,图1的示例呈现生成器102中的至少一个由逻辑电路实现。如本文所使用的,术语“逻辑电路”明确地定义为包括至少一个硬件部件的物理设备,该硬件部件被配置(例如,经由根据预定配置的操作和/或经由存储的机器可读指令的执行)为控制一个或多个机器和/或执行一个或多个机器的操作。逻辑电路的示例包括一个或多个处理器、一个或多个协处理器、一个或多个微处理器、一个或多个控制器、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个微控制器单元(MCU)、一个或多个硬件加速器、一个或多个专用计算机芯片、以及一个或多个片上系统(SoC)设备。一些示例逻辑电路(诸如ASIC或FPGA)是专门配置用于执行操作的硬件。一些示例逻辑电路是执行机器可读指令以执行操作的硬件。一些示例逻辑电路包括专门配置的硬件和执行机器可读指令的硬件的组合。
如本文所使用的,术语“有形机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个明确地定义为机器可读指令(例如,以例如软件和/或固件的形式的程序代码)可被存储在其上的存储介质(例如,硬盘驱动器的盘片、数字多功能盘、光盘、闪存、只读存储器、随机存取存储器等)。进一步,如本文所使用的,术语“有形机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为排除传播信号。也就是说,正如在本专利的任何权利要求中所使用的,“有形机器可读介质”不能被理解为通过传播信号来实现。此外,正如在本专利的任何权利要求中所使用的,“非瞬态机器可读介质”不能被理解为通过传播信号来实现。此外,正如在本专利的任何权利要求中所使用的,“机器可读存储设备”不能被理解为通过传播信号来实现。
如本文所使用的,术语“有形机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个都被明确定义为存储介质,在该存储介质上,机器可读指令在任何适当的时间段内(例如,永久地,在延长的时间段内(例如,当与机器可读指令相关联的程序正在执行)和/或短时间段内(例如,当机器可读指令被高速缓存和/或在缓冲处理期间)被存储。
图2A和图2B示出了可以实现图1的示例HUD组件100的示例HUD组件200。图2A的示例HUD组件200包括呈现生成器202和示例头戴件204。图2A的示例呈现生成器202容纳或携带部件,该部件被配置为生成例如供佩戴图2A的示例HUD组件200的用户使用的视听呈现。例如,图2A的呈现生成器202容纳或携带图1的示例呈现生成器102的部件。
图3示出了安装至用户头部300的图2A和图2B的示例HUD组件200。
图4示出了实现例如图1的光引擎108的示例光引擎402。如上所述,光引擎402生成由波导携带的光。照相机402可以被配置为当佩戴HUD组件200的用户观看盒对象时,捕获表示盒对象和用户的手的图像数据。当图4的示例光引擎402被定位在每一个目镜的上方时,光引擎402可以被定位在任何合适的位置,例如,在框架的边缘。例如,图5示出了佩戴HUD组件200的用户,并且通过安装在头戴件的侧面的照相机502来观看盒对象,捕获包括盒对象和用户的手的图像数据。
图6是表示可以用于实现例如图1的示例图像生成器106、示例光引擎108、示例接口136和/或示例音频生成器112中的一个或多个的示例逻辑电路的框图。图6的示例逻辑电路是能够执行例如实现与图1的示例HUD组件100相关联的操作的机器可读指令的处理平台600。
图6的示例处理平台600包括处理器602,诸如,例如,一个或多个微处理器、控制器和/或任何合适类型的处理器。图6的示例处理平台600包括由处理器602可访问(例如,经由存储器控制器)的存储器(例如,易失性存储器、非易失性存储器)。示例处理器602与存储器604交互以获取例如存储在存储器604中的机器可读指令。附加地或替代地,机器可读指令可以存储在一个或多个可移动介质(例如,光盘、数字多功能盘、可移动闪存等)上,该可移动介质可以耦合到处理平台600以提供对存储在其上的机器可读指令的访问。具体地,存储在存储器604上的机器可读指令可以包括用于执行下文在图11-图13中更详细描述的任何方法的指令。
图6的示例处理平台600进一步包括网络接口606,以实现经由例如一个或多个网络与其他机器的通信。示例网络接口606包括被配置为根据任何合适的(多个)协议操作的任何合适类型的(多个)通信接口(例如,有线接口和/或无线接口)。图6的示例处理平台600包括输入/输出(I/O)接口608,以使得能够接收用户输入并将输出数据通信给用户。
图7是根据一些实施例的使用诸如HUD组件100和/或HUD组件200的HUD组件的成像系统700的示意图。图7中的成像系统700包括安装在HUD组件200上或由HUD组件200携带的两个照相机702和704,例如,如图5所示。照相机702、704操作以沿着各自的光学路径/光轴708、710捕获光。通常,照相机被设计成一起操作以在二维成像视场(FOV)上捕获从(多个)目标对象(例如,盒对象712、用户附加物714)散射或反射的光以作为像素数据。
在一些操作环境中,如图8所示,条形码40被放置在盒对象30的一个或多个侧面上,并且成像系统700被用于解码条形码40以标识盒对象或查找盒对象的其他信息。根据一些实施例,如果条形码40的尺寸(例如,其宽度或长度)是已知的,则如果成像系统700在图像中同时捕获盒对象30和条形码40,就可以估计盒对象30的体积或三个盒尺寸(即,长度、宽度和高度)。一般地,如果已知盒对象30上的几何标记35上的两点之间的距离,则可以根据成像系统50捕获的盒对象30的图像来估计盒对象30的体积或三个盒尺寸。几何标记35的示例包括一维条形码、二维条形码、徽标、装运标签或打印在盒对象30的面上的孤立点标记的组合。在2013年12月16日提交的美国专利No.9,741,134中公开了用于以此类方式确定盒对象尺寸的示例方法和装置,该专利通过引用并入本文中。
图9A是在确定盒对象的尺寸时,HUD组件的用户将看到的显示屏幕的示例。具体地,图9A示出了根据一些实施例的在盒对象30的一个面上具有几何标记35的盒对象30的捕获图像。在该示例中,几何标记35具有矩形实体的形状,并且如图8所示,几何标记35的两个拐角点用作盒对象30的表面上的两个参考点“P”和“Q”。在图9A中,捕获图像中的这两个参考点被标记为“P”和“Q”。如在美国专利No.9,741,134中公开的,这两个参考点在捕获图像中的位置可以用成像系统50自动地标识。在示出的示例中,用户可以触摸或指向参考点,以通知成像系统50参考点的位置。也就是说,成像系统50可以使用用户的附加物的可识别(例如,基于与已知对应于诸如手指的附加物的图像或形状的比较)图像来学习和/或确认参考点的位置。在一些实施例中,使用两个以上的参考点来执行计算(例如,盒对象的体积)或算法,并且可以使用成像系统50自动地标识或由用户手动地标识捕获图像中这两个以上的参考点中的任何一个的位置。
类似地,捕获图像中的盒对象可以通过六个拐角v0、v1、v2、v3、v4和v5来标识。如下文详细描述的,本文公开的示例利用成像系统50识别用户的附加物(例如,基于图像识别或用户佩戴的可识别标记)的能力来指示和/或确认捕获图像中盒对象的这六个角点的位置。拐角点的确认位置用于确定盒对象的一个或多个尺寸。图9B描绘了当计算了盒对象的一个或多个尺寸时,HUD组件的用户将看到的显示屏幕98的示例。
具体地,图10A示出了盒对象的捕获图像,图10B示出了确定捕获图像中的一些边缘线,图10C示出了选择捕获图像中的一些点(例如,边缘线的一些交叉点)作为盒对象的潜在拐角点。通常,拐角识别算法将生成比盒对象上实际存在的更多的候选拐角点。在示出的示例中,盒对象仅有八个实际拐角点。本文公开的示例利用成像系统50识别用户附加物的能力来标识和/或确认图像数据中的候选拐角与盒对象的实际拐角相对应。在本文公开的一些示例中,指示用户指向或触摸盒对象的实际拐角,以区分盒对象的实际拐角点和盒对象的任何虚假候选拐角点。有利的是,用户对盒对象的实际拐角的确认和/或指示加速了尺寸确定系统的处理时间,因为处理器不再需要完成确定盒对象的哪个候选拐角点是盒对象的实际拐角点的时间密集型任务。
图11是根据一些实施例的确定盒对象的尺寸的方法1100的流程图。佩戴HUD的用户可以观看要确定尺寸的盒对象,例如,如图5所示,有效地将盒对象放置到HUD的视场中。
在框1102处,例如经由安装在用户的HUD的每一个侧面上的立体透镜照相机来捕获包括盒对象的图像数据。在一些实例中,用户可以指示开始尺寸确定,例如,经由语音命令、手势、按钮的按下等,并且可以响应于用户的指示捕获包括盒对象的图像数据。在一些实例中,用户可以如图5所示拾取盒对象,而在其他实例中(例如,当盒对象特别重时),用户可以简单地观看盒对象。
在框1104处,分析包括盒对象的图像数据以标识图像数据中盒对象的多个候选拐角点,该操作参照图12更详细地讨论。在示出的示例中,候选拐角点的坐标存储在存储器中,并被指定为与候选拐角点相对应。
用户可以在安装在HUD的每一个侧面的一个或两个立体透镜照相机的视场内,指向或触摸盒对象的拐角。在框1106处,例如,由一个或多个处理器来确定用户附加物(例如,手指)相对于盒对象的潜在拐角点的位置,该操作参照图13更详细地讨论。
在框1108处,由一个或多个处理器基于用户附加物与盒对象的候选拐角点的邻近度来确定和/或确认盒对象的实际拐角点。即,靠近用户附加物的候选拐角点(例如,在阈值距离内或多个候选拐角点之间的最短距离内)很可能是用户正在触摸和/或指向的实际拐角点。
在框1110处,分析图像数据以标识盒对象的参考标记。具体地说,参考标记具有已知的尺寸。例如,参考标记是盒对象上的标准尺寸装运标签。在一些实例中,例如,由一个或多个处理器分析与参考标记相关联的条形码,并且可以指示参考标记的尺寸。
在框1112处,基于参考标记的已知尺寸和盒对象的确定和/或确认的实际拐角点来计算盒对象的尺寸和/或体积。美国专利No.9,741,134中公开了使用拐角和参考标记的知识来确定盒对象的尺寸和/或体积的示例方法和装置,在此通过引用将其全部并入本文。
图12是基于图11的框1104扩展的,分析图像数据以标识盒对象的多个候选拐角点的方法1200的流程图。在框1202处,可以例如,由一个或多个处理器分析包括盒对象的图像数据。分析包括诸如高斯模糊的平滑、诸如坎尼(Canny)算法、带轮廓检测的霍夫(Hough)变换算法、凸包(Convex Hull)算法的检测等。利用图像处理算法的示例方法和装置在美国专利No.9,741,134中公开,在此通过引用并入本文。在框1204处,例如,由一个或多个处理器基于框1202的分析来标识指示盒对象边缘的图像数据。
在框1206处,盒对象边缘被外推以确定每一个盒对象边缘与另一个盒对象边缘的可能交点,例如,如图10C所示。在框1208处,基于外推盒对象边缘的可能交点来标识可能的盒对象拐角。一般地,如图10C所示,系统将标识出许多候选盒对象拐角,但盒对象上只有八个实际盒对象拐角。
图13是在图11的框1106上展开的检测用户附加物(例如,手指)相对于盒对象的潜在拐角的位置的方法1300的流程图。
在框1302处,可以指示用户将附加物(例如,手指)放置在盒对象的第一拐角。例如,呈现生成器102的音频生成器112可以提供音频指令,例如,“请触摸右上拐角”或“请指向第一拐角”。附加地或替代地,呈现生成器102的图像生成器106可以提供类似的视觉和/或文本指令。
在框1304处,例如,由一个或多个处理器分析盒对象和周围区域的图像数据。基于该分析,在(框1306)处标识指示用户附加物的图像数据。在一些实例中,分析可以包括识别裸露的附加物,例如基于颜色、形状等。在一些实例,用户可以佩戴独特的(例如,基于已知图像的系统可识别的)手套,并且指示用户附加物的图像数据是指示手套的图像数据。例如,手套可以是配置用于基于对比度的快速识别的特定颜色,或者手套可以包括系统已知的位于手套的指尖上的特定标记或形状。在一些实例中,手套可以包括可以通过分析图像数据来标识的光和/或其他视觉可识别指示器。
在框1308处,检测到用户附加物的运动停止。例如,如果用户附加物已经在图像数据中被标识并且在阈值时间段(例如,5秒)内停止移动,则这表示用户当前正在触摸或指向盒对象的第一个拐角。附加地或替代地,在用户戴手套的一些示例中,用户可以按下按钮或以其他方式激活印刷在手套手指中的超小型蓝牙低能量(BLE)无线电或电子电路,以指示用户当前正在触摸或指向盒对象的第一拐角。也就是说,BLE无线电可以传输由HUD 200的呈现生成器102的传感器118可检测的信号。
在框1310处,一旦用户指示(例如,通过停止、按下按钮等)他或她正指向或触摸盒对象的第一拐角点,则用户附加物与盒对象的候选拐角点中的每一个之间的距离由例如一个或多个处理器来确定。也就是说,(多个)处理器分析图像数据以确定标识的候选拐角点中的每一个和用户附加物的相对位置,并且确定用户附加物和每一个候选拐角点之间的距离。
在框1312处,例如由一个或多个处理器将与停止的用户附加物具有最短距离的候选拐角点标识为盒对象的实际拐角点。也就是说,与停止的用户附加物具有最短距离的拐角点很可能是用户正在接触或指向的拐角点。
在框1314处,一旦标识出第一实际拐角点,就可以指示用户将附加物放置在盒对象的第二拐角处,并且随着方法1300重复,盒对象的第二拐角点可以以类似方式被标识。此方法可以重复,直到标识出盒对象的所有拐角点,或者直到标识出足以进行尺寸确定的盒对象的多个拐角点。
如上所述,利用实际拐角的坐标和参考点的已知尺寸(例如,图像数据中识别的装运标签的尺寸),使用例如美国专利No.9,741,134中公开的方法和装置来确定盒对象的尺寸(例如,边缘的长度)。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。
此外,在该文档中,诸如第一和第二、顶部和底部等之类的关系术语可单独地用来将一个实体或动作与另一个实体或动作区别开,而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括,以使包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括对该过程、方法、物品或装置未明确列出的或固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素,在没有更多约束条件的情形下,不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个,除非本文中另有明确声明。术语“基本上”、“大致上”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域内技术人员理解的那样接近,并且在一个非限定性实施例中,这些术语被定义为在10%以内,在另一实施例中在5%以内,在另一实施例中在1%以内,而在另一实施例中在0.5%以内。本文中使用的术语“耦合的”被定义为连接的,尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置,但也可以以未列出的方式进行配置。
要理解,一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”),例如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者),所述唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地,一些或全部功能可以由无存储程序指令的状态机来实现,或者在一种或多种专用集成电路(ASIC)中实现,其中各种功能或某些功能的某些组合被实现为定制逻辑。当然,也可以使用这两种方法的组合。
此外,实施例可以实现为计算机可读存储介质,该计算机可读存储介质具有存储在其上的计算机可读代码,用于对(例如包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及闪存。此外,预期本领域普通技术人员虽然做出由例如可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择,但在得到本文所公开的构思和原理指导时,将容易地能以最少的试验产生此类软件指令和程序以及IC。

Claims (18)

1.一种计算机实现的方法,包括:
通过多个照相机,捕获表示对象的图像数据;
通过处理器,分析所述图像数据以标识所述对象的多个候选拐角;
通过所述处理器,检测附加物与所述候选拐角中的每一个的邻近度;
通过所述处理器,基于所述附加物与所述对象的所述候选拐角的相应邻近度,确认所述候选拐角中的第一个是所述对象的拐角;以及
通过所述处理器,基于所述对象的所述确认的拐角,计算所述对象的尺寸,
其中检测所述附加物与所述对象的所述候选拐角中的每一个的邻近度、并且确认候选拐角中的第一个是所述对象的拐角包括:
分析所述图像数据以标识所述图像数据的指示所述附加物的部分;
检测所述附加物停止移动已达到阈值时间段;
确定所述停止的附加物和所述候选拐角中的每一个之间的距离;以及
将所述候选拐角中的所述第一个标识为与所述停止的附加物的距离最短。
2.如权利要求1所述的计算机实现的方法,其特征在于,分析所述图像数据以标识所述对象的所述候选拐角包括:
通过所述处理器,标识指示所述对象的一个或多个边缘的所述图像数据的部分;
通过所述处理器,外推所述对象的所述一个或多个边缘以确定所述边缘的多个交点;以及
通过所述处理器,基于所述边缘的所述交点标识所述对象的所述候选拐角。
3.如权利要求1所述的计算机实现的方法,进一步包括:
指示用户在确定所述停止的附加物和所述候选拐角中的每一个之间的距离之前,将所述附加物放置在所述对象的第一拐角。
4.如权利要求3所述的计算机实现的方法,进一步包括:
在确认所述对象的所述拐角后,指示所述用户将所述附加物放置在所述对象的第二拐角。
5.如权利要求1所述的计算机实现的方法,进一步包括:
通过传感器,检测由与用户的所述附加物相关联的发射器发射的信号,所述信号是响应于所述用户的触觉动作而生成的。
6.如权利要求5所述的计算机实现的方法,其特征在于,检测所述邻近度包括:
响应于检测由与所述附加物相关联的发射器发射的所述信号,检测所述附加物到所述候选拐角中的一个的第一邻近度。
7.如权利要求1所述的计算机实现的方法,其特征在于,计算所述对象的所述尺寸包括:
确定所述对象的边缘的长度。
8.如权利要求1所述的计算机实现的方法,其特征在于:
计算所述对象的所述尺寸包括分析所述图像数据以标识与所述对象相关联的参考标记,所述参考标记具有已知尺寸;以及
计算所述对象的所述尺寸是基于所述参考标记的所述已知尺寸。
9.如权利要求8所述的计算机实现的方法,其特征在于,计算所述对象的所述尺寸包括:
基于所述对象的所述拐角,确定所述对象的每一个边缘的长度;以及
使用所述边缘的所述长度,确定所述对象的体积。
10.一种系统,包括:
平视显示组件,包括呈现生成器和头戴件,所述平视显示组件被配置为由用户佩戴;
多个照相机,安装至所述平视显示组件,所述照相机被配置为捕获与对象和所述用户的附加物相关联的图像数据;
存储器,被配置为存储计算机可执行指令;以及
处理器,被配置为与所述呈现生成器、所述多个照相机和所述存储器通过接口连接,并被配置为执行所述计算机可执行指令以使所述处理器:
分析与所述对象相关联的所述图像数据以标识所述对象的多个候选拐角;
检测所述用户的所述附加物与所述对象的所述候选拐角的第一个的邻近度;
基于所述附加物到所述候选拐角中的所述第一个的所述邻近度,确定所述候选拐角中的所述第一个是否为所述对象的实际拐角;以及
当所述候选拐角中的所述第一个是所述对象的实际拐角时,基于所述候选拐角中的所述第一个计算所述对象的尺寸,
所述计算机可执行指令使所述处理器通过以下操作检测所述附加物与所述候选拐角中的所述第一个的邻近度:
检测所述附加物停止移动已达阈值时间段;以及
响应于检测所述附加物停止移动已达所述阈值时间段,确定所述停止的附加物和所述候选拐角中的所述第一个之间的距离。
11.如权利要求10所述的系统,其特征在于,所述计算机可执行指令在被执行时使得所述处理器通过以下操作标识所述候选拐角:
标识指示所述对象的一个或多个边缘的数据;
外推所述对象的所述一个或多个边缘;以及
基于外推的所述边缘的交点标识所述对象的所述候选拐角。
12.如权利要求10所述的系统,其特征在于,所述计算机可执行指令使所述处理器:
指示所述用户在确定所述停止的附加物和所述候选拐角中的所述第一个之间的所述距离之前,将所述附加物放置在所述对象的第一拐角。
13.如权利要求12所述的系统,其特征在于,所述计算机可执行指令使所述处理器:
在确定所述候选拐角中的所述第一个是所述对象的实际拐角后,指示所述用户将所述附加物放置在所述对象的第二个拐角处。
14.如权利要求10所述的系统,进一步包括传感器,其特征在于,所述计算机可执行指令使所述处理器经由所述传感器检测由所述用户佩戴的发射器发射的信号,所述信号是响应于所述用户的触觉动作而生成的。
15.如权利要求14所述的系统,其特征在于,所述计算机可执行指令使得所述处理器响应于所述发射器发射的所述信号来检测所述附加物与所述对象的所述候选拐角中的所述第一个的所述邻近度。
16.如权利要求14所述的系统,其特征在于,所述计算机可执行指令使得所述处理器通过确定所述对象的边缘的长度计算所述对象的所述尺寸。
17.如权利要求16所述的系统,其特征在于:
所述计算机可执行指令使得所述处理器分析所述图像数据以标识与所述对象相关联的参考标记,所述参考标记具有已知尺寸;以及
所述计算机可执行指令使得所述处理器基于所述参考标记的所述已知尺寸和所确定的所述边缘的长度来计算所述对象的所述尺寸。
18.如权利要求10所述的系统,其特征在于,所述计算机可执行指令使得所述处理器通过以下操作计算所述对象的所述尺寸:
确定所述对象的边缘的长度;以及
使用所述对象的所述边缘的所述长度,确定所述对象的体积。
CN201880072124.7A 2017-11-07 2018-10-18 用于快速确定对象尺寸的方法和装置 Active CN111316320B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/806,203 2017-11-07
US15/806,203 US10621746B2 (en) 2017-11-07 2017-11-07 Methods and apparatus for rapidly dimensioning an object
PCT/US2018/056425 WO2019094164A1 (en) 2017-11-07 2018-10-18 Methods and apparatus for rapid dimensioning an object

Publications (2)

Publication Number Publication Date
CN111316320A CN111316320A (zh) 2020-06-19
CN111316320B true CN111316320B (zh) 2021-06-15

Family

ID=65408834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072124.7A Active CN111316320B (zh) 2017-11-07 2018-10-18 用于快速确定对象尺寸的方法和装置

Country Status (6)

Country Link
US (1) US10621746B2 (zh)
CN (1) CN111316320B (zh)
BE (1) BE1025916B1 (zh)
DE (2) DE112018005311T5 (zh)
GB (1) GB2581094B (zh)
WO (1) WO2019094164A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885653B2 (en) * 2018-01-12 2021-01-05 United Parcel Service Of America, Inc. Systems and methods for mobile parcel dimension calculation and predictive condition analysis

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593786A (zh) * 2013-11-07 2016-05-18 英特尔公司 对象位置确定

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110005918A1 (en) 2007-04-04 2011-01-13 Akeson Mark A Compositions, devices, systems, and methods for using a nanopore
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US9747696B2 (en) * 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9741134B2 (en) * 2013-12-16 2017-08-22 Symbol Technologies, Llc Method and apparatus for dimensioning box object
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US9799111B2 (en) 2016-02-11 2017-10-24 Symbol Technologies, Llc Methods and systems for highlighting box surfaces and edges in mobile box dimensioning
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593786A (zh) * 2013-11-07 2016-05-18 英特尔公司 对象位置确定

Also Published As

Publication number Publication date
GB2581094A (en) 2020-08-05
WO2019094164A1 (en) 2019-05-16
BE1025916A1 (nl) 2019-08-07
DE112018005311T5 (de) 2020-06-18
DE202018006634U1 (de) 2021-09-24
CN111316320A (zh) 2020-06-19
GB2581094B (en) 2021-02-17
BE1025916B1 (nl) 2020-02-07
US20190139250A1 (en) 2019-05-09
US10621746B2 (en) 2020-04-14
GB202006159D0 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
US11488366B2 (en) Augmented reality lighting effects
US9846966B2 (en) Image processing device, image processing method, and computer program product
US10395116B2 (en) Dynamically created and updated indoor positioning map
JP6951056B2 (ja) 加速度に基づく動き許容および予測符号化
KR102322813B1 (ko) 3d 실루엣 감지 시스템
US20160180594A1 (en) Augmented display and user input device
US20200004343A1 (en) Adjusting dimensioning results using augmented reality
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
CN108027656B (zh) 输入设备、输入方法和程序
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20200201513A1 (en) Systems and methods for rfid tag locationing in augmented reality display
CN112286374B (zh) 使用与增强现实平视显示器配对的标准条形码扫描仪与用户界面交互的替代方法
CN111316059B (zh) 使用邻近设备确定对象尺寸的方法和装置
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
US20130127704A1 (en) Spatial touch apparatus using single infrared camera
CN111316320B (zh) 用于快速确定对象尺寸的方法和装置
KR100936666B1 (ko) 적외선 스크린 방식의 투영 영상 터치 장치
JP2016021229A (ja) 入力装置
CN111630436A (zh) 用于平视显示器的基于任务的可调焦距的系统和方法
US9569013B2 (en) Coordinate detection system, information processing apparatus, and recording medium
JP7162813B1 (ja) お絵描き用の表示制御システム
CN114721508A (zh) 虚拟键盘显示方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant