CN106529384A - 用于物联网边界设备的对象识别的技术 - Google Patents

用于物联网边界设备的对象识别的技术 Download PDF

Info

Publication number
CN106529384A
CN106529384A CN201610655915.5A CN201610655915A CN106529384A CN 106529384 A CN106529384 A CN 106529384A CN 201610655915 A CN201610655915 A CN 201610655915A CN 106529384 A CN106529384 A CN 106529384A
Authority
CN
China
Prior art keywords
computing device
identification data
data storehouse
identifying
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610655915.5A
Other languages
English (en)
Inventor
B·维拉贝特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106529384A publication Critical patent/CN106529384A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

描述了用于物联网边界设备的对象识别的技术。用于边界设备对象识别的技术包括在网络上通信的服务器和一个或多个边界设备。服务器维护存储与多个对象相关联的图像的对象识别数据库。服务器标识预期由边界设备中的每一个识别的对象的子集，且为每一边界设备生成缩减对象识别数据库，该数据库包括图像的相应子集。每一边界设备监视设备事件，且响应于设备事件，使用相应的缩减对象识别数据库执行对象识别。边界设备可以将未识别的对象的缩略图图像发送给服务器。边界设备可以耦合到诸如冷藏器或零售货架之类的产品存储设备，且设备事件可以包括诸如开门或关门事件之类的传感器事件。描述且要求保护其他实施方式。

Description

用于物联网边界设备的对象识别的技术
背景技术
许多类型的设备，诸如之类的传感器、车辆、家电、工业设备和其他事物正在获得计算资源和网络能力。现代计算系统可以包括全都一起工作以执行联网应用功能的基于云的服务器、网络基础设施和已连接边界设备——有时称为物联网(Internet of Things：IoT)。典型的IoT已连接边界设备可以是具有低功耗的小型设备且因而通常包括相对低的处理功率或其他计算资源。另外，在网络的各边界处的典型IoT已连接设备可能具有有限的可用带宽。为IoT已连接设备构建高速网络连接可能要求昂贵的数据计划或其他网络服务。
某些计算设备可以基于输入图像识别一个或多个对象。典型的对象识别算法要求大的基准图像数据库以便执行对象识别。对象识别算法的执行时间通常与图像数据库大小成比例。
附图说明
作为示例而非限制在附图中阐释在此描述的概念。出于阐释的简单和清晰起见，并不必定按比例绘制各图中所阐释的元素。在认为合适的场合，在各图当中已经重复了参考标签，以便指示相应的或类似的元素。
图1是用于边界设备对象识别的系统的至少一种实施方式的简化框图；
图2是可以由图1的系统构建的各种环境的至少一种实施方式的简化框图；以及
图3是可以由图1和图2的服务器计算设备执行的一种用于边界设备对象识别的方法的至少一种实施方式的简化流程图；以及
图4是可以由图1和图2的边界计算设备执行的一种用于边界设备对象识别的方法的至少一种实施方式的简化流程图。
具体实施方式
尽管本公开内容的概念易于采用各种修改和备选形式，但已经在各图中作为示例示出且将在此详细描述其特定实施方式。然而，应理解，不存在将本公开内容的概念限制在所公开的具体形式的意图，相反，意图是覆盖与本公开内容和所附权利要求一致的所有修改、等效物和替代品。
本说明书中对“一种实施方式”、“一种实施方式”、“说明性实施方式”等等的引用表示所描述的实施方式可以包括具体的特征、结构或特性，但每一实施方式可以必定或并不必定包括该具体的特征、结构或特性。此外，这样的短语并不必定都是指相同的实施方式。进一步，在结合实施方式描述具体的特征、结构或特性时，无论是否明确地描述，都认为它是在本领域中的技术人员结合其他实施方式实现这样的特征、结构或特性的知识之内。另外，应明白，“A、B和C中的至少之一”的形式中的列表中所包括的各项可以意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。类似地，“A、B或C中的至少一个”的形式中列出的各项可以意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。
在一些情况中，可以用硬件、固件、软件或其任何组合实现所公开的实施方式。所公开的实施方式也可以被实现为由一个或多个暂态或非暂态机器可读的(例如，计算机可读的)存储介质(该介质可以由一个或多个处理器读取并执行)携带或存储在其上的指令。机器可读存储介质可以被实现为以机器可读的形式存储或发送信息的任何存储设备、机制或其他物理结构(例如，易失性或非易失性存储器、介质盘或其他介质设备)。
在各附图中，以特定的布置和/或顺序示出了一些结构或方法特征。然而，应明白，可以不要求这样的特定的布置和/或顺序。相反，在一些实施方式中，可以按与示意图中所示出的不同的方式和/或次序来安排这样的特征。另外，特定图中包含结构或方法特征并不意味着暗示所有实施方式中都要求这样的特征，并且，在一些实施方式中，可以不包括这样的特征，或者这样的特征可以与其他特征组合。
现在参见图1，在说明性实施方式中，用于物联网(IoT)边界设备的对象识别的系统100包括在网络106上通信的服务器计算设备102和多个边界计算设备104。边界计算设备104可以被实现为已连接设备、IoT网关、嵌入式设备或具有有限计算资源和/或有限可用功率的其他设备。例如，在说明性实施方式中，边界计算设备104可以被包括在诸如零售展示单元、零售货架、自动售货机或冷藏器之类的产品存储单元或与之耦合。在使用时，如下面更详细地描述的，服务器计算设备102维护包括与可以识别的众多对象——如产品或产品包装——相关联的图像数据的数据库。可以从对象的三维模型(如果可用的话)生成图像数据。对于每一边界计算设备104，服务器计算设备102生成包括仅与预期由具体边界计算设备104识别的对象相关的数据的经缩减数据库。服务器计算设备102向边界计算设备104提供经缩减数据库。边界计算设备104监视设备事件，并响应于设备事件使用经缩减数据库执行对象识别。如果对象未被识别，则边界计算设备104可以将未识别的对象的缩略图发送给服务器计算设备102，服务器计算设备102可以以用于该对象的对象识别数据来应答。因而，通过减少用于每一边界计算设备104的对象识别数据库的大小，系统100可以减少对每一边界计算设备104的处理和/或功率需求。通过仅响应于设备事件而执行对象识别，系统100可以还减少对每一边界计算设备104的性能和/或功率需求。另外，通过从三维模型生成识别数据，系统100可以减少准备对象识别数据库所要求的手工劳动。
服务器计算设备102可以被实现为能够执行在此描述的功能的任何类型的计算或计算机设备，包括但不限于计算机、服务器、机柜安装的计算设备、台式计算机、工作站、膝上型计算机、笔记本计算机、平板计算机、移动计算设备、可穿戴计算设备、网络设备、web设备、分布式计算系统、基于处理器的系统和/或消费性电子设备。如图1中所示出，服务器计算设备102示意性地包括处理器120、输入/输出子系统122、存储器124、数据存储设备126和通信电路128。当然，在其他实施方式中，服务器计算设备102可以包括其他或附加的组件，例如通常出现在服务器中的那些(例如，各种输入/输出设备)。另外，在一些实施方式中，说明性组件中的一个或多个可以被合并在另一组件中，或者以另外方式形成另一组件的一部分。例如，在一些实施方式中，存储器124或其部分可以被合并在处理器120中。另外或备选地，在一些实施方式中，服务器计算设备102可以被实现为从跨网络106分布且在公共云或私有云中操作的多个计算设备形成的“虚拟服务器”。因此，尽管在图1中将服务器计算设备102阐释为被实现为单个服务器设备，但应明白，服务器计算设备102可以被实现为一起协同操作以便促进下面描述的功能的多个设备。
处理器120可以被实现为任何类型的处理器能够执行在此描述的功能。处理器120可以被实现为单核或多核处理器、数字信号处理器、微控制器或其他处理器或处理/控制电路。类似地，存储器124可以被实现为任何类型的易失性或非易失性存储器或数据存储能够执行在此描述的功能。在操作时，存储器124可以存储在服务器计算设备102操作期间搜索使用的各种数据和软件，如操作系统、应用、程序、库和驱动器。存储器124经由I/O子系统122通信上耦合到处理器120，I/O子系统122可以被实现为促进与服务器计算设备102的处理器120、存储器124和其他组件进行的输入/输出操作的电路和/或组件。例如，I/O子系统122可以被实现为或以另外方式包括存储器控制器中枢、输入/输出控制中枢、固件设备、通信链路(即点对点链路、总线链路、线、电缆、光波导、印刷电路板迹线等等)和/或其他组件和子系统，以促进输入/输出操作。在一些实施方式中，I/O子系统122可以形成片上系统(SoC)的一部分，且与服务器计算设备102的处理器120、存储器124和其他组件一起与单个集成电路芯片合并。
数据存储设备126可以被实现为被配置为用于数据的短期或长期存储的任何类型的设备或多种设备，诸如例如存储器设备和电路、存储卡、硬盘驱动器、固态驱动器或其他数据存储设备。如下面进一步描述的，数据存储设备126可以存储和/或维护用于对象识别的对象识别数据库。
服务器计算设备102的通信电路128可以被实现为能够通过网络106允许在服务器计算设备102、边界计算设备104和/或其他远程设备之间的通信的任何通信电路、设备或其集合。通信电路128可以被配置为使用任何一种或多种通信技术(例如，有线或无线通信)和关联的协议(例如，以太网、WiMAX等等)来实现这样的通信。
边界计算设备104中的每一个可以被实现为任何类型的计算或计算机设备能够执行在此描述的功能，包括但不限于已连接设备、嵌入式设备、物联网(IoT)网关、智能电话、移动音频或视频播放器、计算机、台式计算机、工作站、膝上型计算机、笔记本计算机、平板计算机、可穿戴式计算设备、网络设备、web设备、分布式计算系统、基于处理器的系统和/或消费性电子设备。边界计算设备104可以包括通常出现在嵌入式设备或类似的计算设备中的组件和设备，例如处理器140、I/O子系统142、存储器144、数据存储设备146、通信电路148和/或其他设备。边界计算设备104中的那些个体组件可以类似于服务器计算设备102的相应组件，对它们的描述适用于边界计算设备104的相应组件，且在本文中不进行重复，以免模糊本公开内容。
边界计算设备104也可以包括一个或多个相机150和一个或多个外围设备152。相机150可以被实现为与边界计算设备104集成或以另外方式通信上耦合到边界计算设备104的数码相机或其他数字成像设备。相机150包括电子图像传感器，如有源像素传感器(active-pixel sensor：APS)，例如互补金属氧化物半导体(CMOS)传感器，或电荷耦合器件(CCD)。相机150可以用来捕捉边界计算设备104的环境的图像，在一些实施方式中包括捕捉静态图像或视频图像。在一些实施方式中，相机150可以被实现为一个或多个三维相机、立体视觉相机、三维扫描仪或其他传感器能够捕捉边界计算设备104的环境中的对象的二维或三维形状。
外围设备152可以包括任何数量的附加输入/输出设备、接口设备和/或其他外围设备。在一些实施方式中，外围设备152可以包括一个或多个传感器。例如，在一些实施方式中，边界计算设备104可以被合并在产品存储单元中或用于存储零售产品或其他对象的其他存储单元中或者以另外方式耦合到这些单元，所述产品存储单元例如零售展示单元、零售货架、自动售货机、冷藏器、展示柜、仓库架。在那些实施方式中，外围设备152可以包括可以用来判断何时用户已经打开或以另外方式访问零售展示单元的开门传感器、重量传感器、光传感器或其他传感器。
如下面更详细地讨论，服务器计算设备102和边界计算设备104可以被配置为在网络106上就彼此和/或系统100的其他设备发送和接收数据。网络106可以被实现为任何数量的各种有线和/或无线网络。例如，网络106可以被实现为或以另外方式包括有线或无线局域网(LAN)、有线或无线广域网(WAN)、蜂窝式网络和/或诸如因特网之类的公众可接入全球网络。因而，网络106可以包括任何数量的附加设备，例如附加计算机、路由器和交换机，以促进在系统100的设备当中的通信。
现在参见图2，在说明性实施方式中，服务器计算设备102在操作期间构建环境200。说明性环境200包括建模模块202、对象数据库模块206、缩减模块210、通信模块214和对象识别模块216。环境200的各种模块可以被实现为硬件、固件、软件或其组合。例如，环境200的各种模块、逻辑和其他组件可以形成服务器计算设备102的处理器120或其他硬件组件的一部分，或以另外方式由服务器计算设备102的处理器120或其他硬件组件构建。因而，在一些实施方式中，环境200的模块中的任何一个或多个可以被实现为电路或电子设备的集合(例如，建模电路202、对象数据库电路206、缩减电路210等等)。
在一些实施方式中，建模模块202被配置为将对象的三维模型转换成与对象相关联的多个二维图像。建模模块202可以管理或以另外方式访问三维模型数据204，三维模型数据204可以包括各个对象的三维模型数据。
对象数据库模块206被配置为管理或以另外方式访问对象识别数据库208。对象识别数据库208包括与多个对象相关联的二维图像。如下面进一步描述的，二维图像可以被边界计算设备104和/或服务器计算设备102用来从所捕捉的图像数据识别对象。在一些实施方式中，对象数据库模块206可以被配置为向对象识别数据库208添加由建模模块202产生的与对象相关联的二维图像。另外或备选地，在一些实施方式中，对象识别数据库208可以包括可以由边界计算设备104和/或服务器计算设备102用来识别对象的三维图像、三维模型或其他三维数据。
缩减模块210被配置为基于相应的边界计算设备104的身份为边界计算设备104中的每一个的标识对象识别数据库208的多个对象的子集。预期由相应的边界计算设备104在图像中捕捉所标识的对象子集的每一对象。缩减模块210还被配置为基于对象识别数据库208为每一边界计算设备104生成缩减对象识别数据库212。缩减对象识别数据库212包括与所标识的对象子集相关联的二维图像。缩减模块210可以被配置为基于例如相应的边界计算设备104的预期位置和/或预期使用标识对象子集。
通信模块214被配置为将缩减对象识别数据库212发送给边界计算设备104中的每一个。在一些实施方式中，通信模块214可以被配置为从边界计算设备104接收缩略图图像，并响应于接收缩略图图像将经更新的缩减对象识别数据库212发送给边界计算设备104。
在一些实施方式中，对象识别模块216被配置为使用对象识别数据库208基于从边界计算设备104接收的缩略图图像来标识对象。缩减模块210可以还被配置为响应于基于缩略图图像标识对象将与已识别对象相关联的二维图像添加到经更新的缩减对象识别数据库212。
仍然参见图2，在说明性实施方式中，在操作期间，边界计算设备104构建环境220。说明性环境220包括通信模块222、对象识别模块224、事件模块226和图像捕捉模块228。环境220的各种模块可以被实现为硬件、固件、软件或其组合。例如，环境220的各种模块、逻辑和其他组件可以形成边界计算设备104的处理器140或其他硬件组件的一部分，或以另外方式由边界计算设备104的处理器140或其他硬件组件构建。因而，在一些实施方式中，环境220的模块中的任何一个或多个可以被实现为电路或电子设备的集合(例如，通信电路222、对象识别电路224、事件电路226等等)。
通信模块222被配置为从服务器计算设备102接收缩减对象识别数据库212。如上所述，缩减对象识别数据库212包括与多个对象相关联的二维图像。另外或备选地，且类似于对象识别数据库208，在一些实施方式中，缩减对象识别数据库212可以包括可以由边界计算设备104用来识别对象的三维图像、三维模型或其他三维数据。在一些实施方式中，通信模块222可以还被配置为将未识别的对象的缩略图图像发送给服务器计算设备102，且作为响应从服务器计算设备102接收经更新的缩减对象识别数据库212。经更新的缩减对象识别数据库212包括与未识别的对象相关联的二维图像。
事件模块226被配置为监视设备事件的发生。事件模块226可以被配置为通过从边界计算设备104的一个或多个传感器接收传感器数据来监视设备事件。设备事件可以包括例如开门事件和/或关门事件。图像捕捉模块228被配置为从边界计算设备104的相机150捕捉图像数据。图像捕捉模块228可以例如响应于设备事件的发生而捕捉图像数据。
对象识别模块224被配置为响应于设备事件的发生执行对象识别。对象识别模块224被配置为使用缩减对象识别数据库212基于从相机150捕捉的图像数据来执行对象识别。在一些实施方式中，对象识别模块224可以被配置为基于图像数据生成加权识别值。对象识别模块224还被配置为响应于执行对象识别来执行诸如记录对象识别的结果之类的对象识别动作。在一些实施方式中，对象识别模块224被配置为响应于执行对象识别判断是否识别了对象，并且，如果对象未被识别，则生成未识别的对象的缩略图图像。
现在参见图3，在使用时，服务器计算设备102可以执行用于边界设备对象识别的方法300。方法300从框302开始，框302中，服务器计算设备102判断在3D模型数据204中是否可以获得要添加到对象识别数据库208的具体对象的三维模型。例如，可以最初使用计算机设计工具(例如，计算机辅助设计软件、排版(publishing)或布局软件、图像编辑软件或其他软件生产力工具)来设计许多消费者产品和/或那些消费者产品的包装。因此，可以存在预期可以由边界计算设备104识别的多种对象如消费者产品或产品包装的3D模型数据204。在框304，服务器计算设备102检查三维模型数据是否可用。如果三维模型数据不可用，则方法300分支到框308，如下面描述的。如果三维模型数据可用，则方法300分支到框306。
在框306，服务器计算设备102将三维模型转换成对象的一个或多个二维图像。例如，服务器计算设备102可以从若干视点呈现(render)三维模型以便生成二维图像。服务器计算设备102可以使用理想化照明(idealized lighting)呈现二维图像或以另外方式呈现适用于用来执行对象识别的二维图像。在呈现二维图像之后，方法300进行到框310，如下面所描述。
返回参见框304，如果没有三维模型数据可用于对象，则方法300分支到框308，框308中，服务器计算设备102接收用于产品的二维图像数据输入。例如，二维图像可以由用户提供或以另外方式手动地指定。在一些实施方式中，用户可以例如通过手动地移除反射和其他视觉伪像来手动地调整图像以便为执行对象识别做好准备。因而，接收二维图像数据可以比如上结合框306所描述的从三维模型产生二维图像需要更多的劳动。在获取二维图像之后，方法300进行到框310，如下面所描述的。
在框310，服务器计算设备102将对应于要识别的对象的二维图像添加到对象识别数据库208。如下面进一步描述的，那些二维图像可以被用来在由边界计算设备104捕捉的图像数据中识别对象。在框312，服务器计算设备102判断附加对象是否仍有待添加到对象识别数据库208。例如，服务器计算设备102可以判断零售存储中摆放的每一产品(例如，约100,000种产品)的图像是否已经被包括在对象识别数据库208中。如果仍有附加对象，则方法300循环回到框302，以便添加附加对象。如果没有附加对象剩下，则方法300进行到框314。
在框314，服务器计算设备102从对象识别数据库208标识预期由边界计算设备104中的每一个识别的对象。服务器计算设备102可以使用任何技术来确定预期由具体的边界计算设备104识别的对象。例如，服务器计算设备102可以基于边界计算设备104的预期位置和/或预期使用来标识预期对象。例如，可以预期被合并在产品存储单元中或以另外方式耦合到产品存储单元的边界计算设备104来识别通常被存储在该产品存储单元中的对象。服务器计算设备102可以参考货存管理系统或其他数据库来确定通常被存储在该产品存储单元中的对象。继续该示例，可以预期被耦合到自动售货机或冷藏器的边界计算设备104来识别可以被摆放在自动售货机或冷藏器中(或在关联的仓库中)的饮料。作为另一示例，可以预期被耦合到零售货架的边界计算设备104来识别应当摆放在零售货架上的产品的零售包装。因而，每一缩减对象识别数据库212可以包括比对象识别数据库208少得多的数量的对象的图像(例如，与零售仓库中有多于100,000种产品相比，大约十种产品被存储在零售货架上)。
在框316，服务器计算设备102为每一边界计算设备104生成缩减对象识别数据库212。每一缩减对象识别数据库212包括与对象识别数据库208的对象的子集相关联的二维图像。具体的缩减对象识别数据库212中所包括的图像是预期由关联的边界计算设备104识别的对象，如上面结合框314所描述的。因此，服务器计算设备102可以为每一边界计算设备104准备不同的缩减对象识别数据库212。在框318，服务器计算设备102将相应的缩减对象识别数据库212发送给每一边界计算设备104。
在框320，服务器计算设备102监视从边界计算设备104中的一个或多个接收的缩略图图像。如下面结合图4进一步描述的，如果对象未被识别(例如，如果相应的边界计算设备104的缩减对象识别数据库212中没有包括该对象)，则边界计算设备104可以将缩略图图像发送给服务器计算设备102。缩略图图像可以被实现为由边界计算设备104捕捉的任何图像或一系列图像。可以裁剪缩略图图像、减少其分辨率、减少其帧率或以另外方式修改该缩略图图像以减少将缩略图图像从边界计算设备104发送到服务器计算设备102所要求的存储空间、带宽和/或能量。在框322，服务器计算设备102检查是否已经接收到缩略图图像。如果没有，则方法300循环回到框320，以继续监视缩略图图像。如果已经接收到缩略图图像，则方法300进行到框324。
在框324，服务器计算设备102基于从边界计算设备104接收的缩略图图像识别对象。服务器计算设备102可以使用任何技术来识别对象。例如，服务器计算设备102可以将缩略图图像与存储在对象识别数据库208中的二维图像进行比较，以便标识匹配的对象。因为对象识别数据库208远大于缩减对象识别数据库212，相比于边界计算设备104的对象识别，服务器计算设备102的对象识别可能要求多得多的能量、处理功率、存储空间或其他计算资源。另外或备选地，在一些实施方式中，服务器计算设备102的用户可以手动地将缩略图图像与对象进行匹配(例如，如果对象识别数据库208最初不包括该对象)。
在识别对象之后，在框326，服务器计算设备102将与已识别对象相关联的二维图像添加到边界计算设备104的经更新缩减对象识别数据库212。在框328，服务器计算设备102将经更新缩减对象识别数据库212发送给边界计算设备104。服务器计算设备102可以使用任何技术来生成和/或发送经更新缩减对象识别数据库212。例如，在一些实施方式中，服务器计算设备102可以重新生成整个缩减对象识别数据库212，以包括新近已识别对象。作为另一示例，在一些实施方式中，服务器计算设备102可以仅生成增量改变和/或将其发送给缩减对象识别数据库212。在发送经更新缩减对象识别数据库212之后，方法300循环回到框320，以继续监视缩略图图像。
现在参见图4，在使用时，边界计算设备104可以执行用于边界设备对象识别的方法400。方法400从框402开始，框402中，边界计算设备104从服务器计算设备102接收缩减对象识别数据库212。如上面结合图3的框316所描述的，缩减对象识别数据库212包括与预期由边界计算设备104识别的对象相关联的二维图像。缩减对象识别数据库212可以包括用于相对少量的对象(例如，预期零售货架上摆放有十种产品)的图像数据。
在框404，边界计算设备104监视一个或多个设备事件。边界计算设备104可以监视任何适当的事件，例如定时器事件、软件事件、网络事件、传感器事件或任何其他事件或对边界计算设备104的改变。在许多实施方式中，设备事件可以指示用户例如通过打开关联的产品存储单元正在访问边界计算设备104。作为另一示例，边界计算设备104可以监视产品售卖事件，例如在用户从自动售货机选择商品的时候。边界计算设备104可以以诸如睡眠状态之类的低功率状态监视事件。在一些实施方式中，在框406，边界计算设备104可以监视来自一个或多个传感器的传感器输入。例如，边界计算设备104可以监视传感器以发现开门和/或关门事件，例如在打开和/或关闭产品存储单元的门的时候。其他事件可以包括重量改变事件(例如在向产品存储单元添加或从其移除产品的时候)、光照事件(例如在打开产品存储单元的时候和/或在用户开灯的时候)或其他事件。在框408，边界计算设备104判断设备事件是否已经发生。如果没有发生，则方法400循环回到框404以继续监视设备事件。如果设备事件已经发生，方法400进行到框410。
在框410，边界计算设备104基于缩减对象识别数据库212使用从相机(多个)150捕捉的图像数据执行对象识别。边界计算设备104可以使用(多个)相机150捕捉对象的一个或多个静态图像和/或视频图像。进一步，在一些实施方式中，边界计算设备104可以开启或以另外方式激活(多个)相机150以捕捉图像，且然后可以在捕捉图像之后关闭或以另外方式停用(多个)相机150，这可以减少功耗。另外，在一些实施方式中，边界计算设备104可以例如从一个或多个三维或立体声相机150或从一个或多个三维扫描仪(例如，激光扫描仪)捕捉与所捕捉的图像相关联的二维或三维形状数据。通过将已捕捉的图像数据与存储在缩减对象识别数据库212中的二维图像进行比较以便标识匹配对象，边界计算设备104可以执行对象识别。在一些实施方式中，边界计算设备104可以在异步后台进程执行对象识别而无需中断边界计算设备104的其他功能。在一些实施方式中，在框412，边界计算设备104可以生成用于一个或多个对象的加权识别值。例如，边界计算设备104可以生成与一个或多个对象(例如，百分比置信度)相关联的识别置信度值。当然，在一些实施方式中，边界计算设备104可以另外或备选地执行二进制识别，例如判断是否识别了对象。
在框414，边界计算设备104判断是否已经识别了对象。边界计算设备104可以例如将加权识别值与可配置的识别阈值进行比较。如上面结合框412所描述的，边界计算设备104可以生成部分识别分数。如果部分识别分数低于识别阈值(例如，阈值百分比置信度)，则边界计算设备104可以判断还未识别对象。如果识别了对象，则方法400分支前进到框422，如下面所描述的。如果对象未被识别，则方法400进行到框416。
在框416，边界计算设备104创建未识别的对象的缩略图图像。如上所述，可以裁剪缩略图图像、减少其分辨率、减少其帧率或以另外方式修改，以减少将缩略图图像从边界计算设备104发送给服务器计算设备102所要求的存储空间、带宽和/或能量。例如，在一些实施方式中，通过选择由相机150捕捉的包括未识别的对象的图像数据的具体部分，边界计算设备104可以创建缩略图图像。
在框418，边界计算设备104将缩略图图像发送给服务器计算设备102。如上面结合图3的框324、326所描述的，服务器计算设备102可以在缩略图图像中识别对象，且然后，准备包括该对象的二维图像数据的经更新的缩减对象识别数据库212。在框420，边界计算设备104从服务器计算设备102接收经更新的缩减对象识别数据库212。如上面结合图3的框328所描述的，可以以任何格式(包括作为整个数据库或作为增量改变)发送缩减对象识别数据库212。因而，在接收经更新的缩减对象识别数据库212之后，边界计算设备104能够识别先前未识别的对象。
在框422，边界计算设备104基于对象识别的结果执行一个或多个动作。在一些实施方式中，边界计算设备104可以记录对象识别结果，例如记录(多个)已识别对象和/或关联的加权识别值。在一些实施方式中，边界计算设备104可以将对象识别的结果提供给用户或另一设备如货存管理系统。在基于对象识别的结果执行动作之后，方法400循环回到框404，以继续监视设备事件。
示例
下面提供本文中公开的技术的说明性示例。各技术的实施方式可以包括下面描述的示例中的任何一个或多个及其任何组合。
示例1包括一种用于边界设备对象识别的计算设备，所述计算设备包括对象数据库电路，其访问对象识别数据库，其中，所述对象识别数据库包括与多个对象相关联的二维图像；缩减电路，其用于(i)基于边界计算设备的身份来标识所述多个对象的子集，其中，所述多个对象的所述子集中的每一对象包括预期由所述边界计算设备在图像中捕捉的对象，以及(ii)基于所述对象识别数据库生成缩减对象识别数据库，其中，所述缩减对象识别数据库包括与所述多个对象的所述子集相关联的二维图像；以及通信电路，其用于将所述缩减对象识别数据库发送所述边界计算设备。
示例2包括示例1的主题，且其中，所述缩减电路还(i)基于第二边界计算设备的身份标识所述多个对象的第二子集，其中，所述多个对象的所述第二子集中的每一对象包括预期由所述第二边界计算设备在图像中捕捉的对象，并且(ii)基于所述对象识别数据库生成第二缩减对象识别数据库，其中，所述第二缩减对象识别数据库包括与所述多个对象的所述第二子集相关联的二维图像；以及所述通信电路还将所述第二缩减对象识别数据库发送给所述第二边界计算设备。
示例3包括示例1和2中的任何的主题，且其中，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期位置标识所述多个对象的所述子集。
示例4包括示例1-3中的任何的主题，且其中，基于所述边界计算设备的所述预期位置标识所述多个对象的所述子集包括标识所述边界计算设备的预期零售货架位置。
示例5包括示例1-4中的任何的主题，且其中，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期使用标识所述多个对象的所述子集。
示例6包括示例1-5中的任何的主题，且还包括建模电路，其用于将对象的三维模型转换成与所述对象相关联的多个二维图像；其中，所述对象数据库电路还将与所述对象相关联的所述二维图像添加到所述对象识别数据库。
示例7包括示例1-6中的任何的主题，且还包括对象识别电路，其用于基于从所述边界计算设备接收的缩略图图像使用所述对象识别数据库来标识对象；其中，所述缩减电路还响应于基于所述缩略图图像对所述对象的标识将与所述对象相关联的各二维图像添加到经更新缩减对象识别数据库；且其中，所述通信电路还(i)从所述边界计算设备接收所述缩略图图像，并且(ii)将所述经更新缩减对象识别数据库发送给所述边界计算设备。
示例8包括一种用于边界设备对象识别的计算设备，所述计算设备包括通信电路，其用于从服务器计算设备接收缩减对象识别数据库，其中，所述缩减对象识别数据库包括与多个对象相关联的二维图像；事件电路，其监视设备事件的发生；图像捕捉电路，其从所述计算设备的相机捕捉图像数据；以及对象识别电路，其用于(i)响应于所述设备事件的发生基于所述图像数据通过所述缩减对象识别数据库来执行对象识别；并且(ii)响应于所述对象识别的执行而执行对象识别动作。
示例9包括示例8的主题，且其中，监视所述设备事件的发生包括从所述计算设备的一个或多个传感器接收传感器数据。
示例10包括示例8和9中的任何的主题，且其中，所述设备事件包括开门事件或关门事件。
示例11包括示例8-10中的任何的主题，且其中，从所述相机捕捉所述图像数据包括响应于所述设备事件的发生从所述相机捕捉所述图像数据。
示例12包括示例8-11中的任何的主题，且其中，执行所述对象识别包括基于所述图像数据生成加权识别值。
示例13包括示例8-12中的任何的主题，且其中，执行所述对象识别动作包括记录基于所述图像数据执行所述对象识别的结果。
示例14包括示例8-13中的任何的主题，且其中，所述对象识别电路还(i)判断是否响应于所述对象识别的执行识别了对象，并且(ii)响应于判断所述对象未被识别，基于所述图像数据生成未识别的对象的缩略图图像；以及所述通信电路还将所述未识别的对象的所述缩略图图像发送给所述服务器计算设备。
示例15包括示例8-14中的任何的主题，且其中，所述通信电路还响应于所述缩略图图像的传送从所述服务器计算设备接收经更新的对象识别数据库，其中，所述经更新的对象识别数据库包括与所述未识别的对象相关联的各二维图像。
示例16包括一种用于边界设备对象识别的方法，所述方法包括由计算设备访问对象识别数据库，其中，所述对象识别数据库包括与多个对象相关联的二维图像；由所述计算设备基于边界计算设备的身份标识所述多个对象的子集，其中，所述多个对象的所述子集中的每一对象包括预期由所述边界计算设备在图像中捕捉的对象；由所述计算设备基于所述对象识别数据库生成缩减对象识别数据库，其中，所述缩减对象识别数据库包括与所述多个对象的所述子集相关联的二维图像；以及由所述计算设备将所述缩减对象识别数据库发送给所述边界计算设备。
示例17包括示例16的主题，且还包括由所述计算设备基于第二边界计算设备的身份标识所述多个对象的第二子集，其中，所述多个对象的所述第二子集中的每一对象包括预期由所述第二边界计算设备在图像中捕捉的对象；由所述计算设备基于所述对象识别数据库生成第二缩减对象识别数据库，其中，所述第二缩减对象识别数据库包括与所述多个对象的所述第二子集相关联的二维图像；以及由所述计算设备将所述第二缩减对象识别数据库发送给所述第二边界计算设备。
示例18包括示例16和17中的任何的主题，且其中，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期位置标识所述多个对象的所述子集。
示例19包括示例16-18中的任何的主题，且其中，基于所述边界计算设备的所述预期位置标识所述多个对象的所述子集包括标识所述边界计算设备的预期零售货架位置。
示例20包括示例16-19中的任何的主题，且其中，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期使用标识所述多个对象的所述子集。
示例21包括示例16-20中的任何的主题，且还包括由所述计算设备将对象的三维模型转换成与所述对象相关联的多个二维图像；以及由所述计算设备将与所述对象相关联的所述二维图像添加到所述对象识别数据库。
示例22包括示例16-21中的任何的主题，且还包括由所述计算设备从所述边界计算设备接收缩略图图像；由所述计算设备使用所述对象识别数据库基于所述缩略图图像标识对象；响应于基于所述缩略图图像标识所述对象，由所述计算设备将与所述对象相关联的各二维图像添加到经更新的缩减对象识别数据库；以及由所述计算设备将所述经更新的缩减对象识别数据库发送给所述边界计算设备。
示例23包括一种用于边界设备对象识别的方法，所述方法包括由计算设备从服务器计算设备接收缩减对象识别数据库，其中，所述缩减对象识别数据库包括与多个对象相关联的二维图像；由所述计算设备监视设备事件的发生；由所述计算设备从所述计算设备的相机捕捉图像数据；响应于所述设备事件的发生，由所述计算设备基于所述图像数据使用所述缩减对象识别数据库执行对象识别；以及响应于执行所述对象识别，由所述计算设备执行对象识别动作。
示例24包括示例23的主题，且其中，监视所述设备事件的发生包括从所述计算设备的一个或多个传感器接收传感器数据。
示例25包括示例23和24中的任何的主题，且其中，所述设备事件包括开门事件或关门事件。
示例26包括示例23-25中的任何的主题，且其中，从所述相机捕捉所述图像数据包括响应于所述设备事件的发生从所述相机捕捉所述图像数据。
示例27包括示例中的任何的主题23-26，且其中，执行所述对象识别包括基于所述图像数据生成加权识别值。
示例28包括示例23-27中的任何的主题，且其中，执行所述对象识别动作包括记录基于所述图像数据执行所述对象识别的结果。
示例29包括示例23-28中的任何的主题，且还包括响应于执行所述对象识别由所述计算设备判断是否识别了对象；响应于判断所述对象未被识别，由所述计算设备基于所述图像数据生成未识别的对象的缩略图图像；以及由所述计算设备将所述未识别的对象的所述缩略图图像发送给所述服务器计算设备。
示例30包括示例23-29中的任何的主题，且还包括响应于发送所述缩略图图像由所述计算设备从所述服务器计算设备接收经更新的对象识别数据库，其中，所述经更新的对象识别数据库包括与所述未识别的对象相关联的各二维图像。
示例31包括计算设备包括处理器；以及其中存储有多个指令存储器，在由所述处理器执行时，这些指令引起所述计算设备以执行示例16-30中的任何的所述方法。
示例32包括一个或多个机器可读存储介质，其包括存储在其上的多个指令，响应于被执行，这些指令引起计算设备执行示例16-30中的任何的方法。
示例33包括计算设备包括用于执行示例16-30中的任何的方法的装置。
示例34包括一种用于边界设备对象识别的计算设备，所述计算设备包括用于访问对象识别数据库的装置，其中，所述对象识别数据库包括与多个对象相关联的二维图像；用于基于边界计算设备的身份标识所述多个对象的子集的装置，其中，所述多个对象的所述子集中的每一对象包括预期由所述边界计算设备在图像中捕捉的对象；用于基于所述对象识别数据库生成缩减对象识别数据库的装置，其中，所述缩减对象识别数据库包括与所述多个对象的所述子集相关联的二维图像；以及用于将所述缩减对象识别数据库发送给所述边界计算设备的装置。
示例35包括示例34的主题，且还包括用于基于第二边界计算设备的身份标识所述多个对象的第二子集的装置，其中，所述多个对象的所述第二子集中的每一对象包括预期由所述第二边界计算设备在图像中捕捉的对象；用于基于所述对象识别数据库生成第二缩减对象识别数据库的装置，其中，所述第二缩减对象识别数据库包括与所述多个对象的所述第二子集相关联的二维图像；以及用于将所述第二缩减对象识别数据库发送给所述第二边界计算设备的装置。
示例36包括示例34和35中的任何的主题，且其中，用于基于所述边界计算设备的身份标识所述多个对象的所述子集的装置包括用于基于所述边界计算设备的预期位置标识所述多个对象的所述子集的装置。
示例37包括示例34-36中的任何的主题，且其中，用于基于所述边界计算设备的所述预期位置标识所述多个对象的所述子集的装置包括用于标识所述边界计算设备的预期零售货架位置的装置。
示例38包括示例34-37中的任何的主题，且其中，用于基于所述边界计算设备的身份标识所述多个对象的所述子集的装置包括用于基于所述边界计算设备的预期使用标识所述多个对象的所述子集的装置。
示例39包括示例34-38中的任何的主题，且还包括用于将对象的三维模型转换成与所述对象相关联的多个二维图像的装置；以及用于将与所述对象相关联的所述二维图像添加到所述对象识别数据库的装置。
示例40包括示例中的任何的主题34-39，且还包括用于从所述边界计算设备接收缩略图图像的装置；用于基于所述缩略图图像使用所述对象识别数据库标识对象的装置；用于响应于基于所述缩略图图像标识所述对象将与所述对象相关联的各二维图像添加到经更新的缩减对象识别数据库的装置；以及用于将所述经更新的缩减对象识别数据库发送给所述边界计算设备的装置。
示例41包括一种用于边界设备对象识别的计算设备，所述计算设备包括用于从服务器计算设备接收缩减对象识别数据库的装置，其中，所述缩减对象识别数据库包括与多个对象相关联的二维图像；用于监视设备事件的发生的装置；用于从所述计算设备的相机捕捉图像数据的装置；用于响应于所述设备事件的发生基于所述图像数据使用所述缩减对象识别数据库执行对象识别的装置；以及用于响应于执行所述对象识别执行对象识别动作的装置。
示例42包括示例41的主题，且其中，所述用于监视所述设备事件的发生的装置包括用于从所述计算设备的一个或多个传感器接收传感器数据的装置。
示例43包括示例41和42中的任何的主题，且其中，所述设备事件包括开门事件或关门事件。
示例44包括示例41-43中的任何的主题，且其中，所述用于的装置从所述相机捕捉所述图像数据包括用于的装置从所述相机捕捉所述图像数据响应于所述设备事件的发生。
示例45包括示例41-44中的任何的主题，且其中，所述用于执行所述对象识别的装置包括用于基于所述图像数据生成加权识别值的装置。
示例46包括示例41-45中的任何的主题，且其中，所述用于执行所述对象识别动作的装置包括用于记录基于所述图像数据执行所述对象识别的结果的装置。
示例47包括示例41-46中的任何的主题，且还包括用于响应于执行所述对象识别判断是否识别了对象的装置；用于响应于判断所述对象未被识别而基于所述图像数据生成未识别的对象的缩略图图像的装置；以及用于将所述未识别的对象的所述缩略图图像发送给所述服务器计算设备的装置。
示例48包括示例中的任何的主题41-47，且还包括用于响应于从发送所述缩略图图像的所述服务器计算设备接收经更新的对象识别数据库的装置，其中，所述经更新的对象识别数据库包括与所述未识别的对象相关联的各二维图像。

Claims (24)

1.一种用于边界设备对象识别的计算设备，所述计算设备包括：
对象数据库电路，其用于访问对象识别数据库，其中，所述对象识别数据库包括与多个对象相关联的二维图像；
缩减电路，其用于(i)基于边界计算设备的身份来标识所述多个对象的子集，其中，所述多个对象的所述子集中的每一对象包括预期由所述边界计算设备在图像中捕捉的对象，并且(ii)基于所述对象识别数据库生成缩减对象识别数据库，其中，所述缩减对象识别数据库包括与所述多个对象的所述子集相关联的二维图像；以及
通信电路，其用于将所述缩减对象识别数据库发送给所述边界计算设备。
2.如权利要求1所述的计算设备，其特征在于：
所述缩减电路还(i)基于第二边界计算设备的身份标识所述多个对象的第二子集，其中，所述多个对象的所述第二子集中的每一对象包括预期由所述第二边界计算设备在图像中捕捉的对象，并且(ii)基于所述对象识别数据库生成第二缩减对象识别数据库，其中，所述第二缩减对象识别数据库包括与所述多个对象的所述第二子集相关联的二维图像；以及
所述通信电路还将所述第二缩减对象识别数据库发送给所述第二边界计算设备。
3.如权利要求1所述的计算设备，其特征在于，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期位置标识所述多个对象的所述子集。
4.如权利要求3所述的计算设备，其特征在于，基于所述边界计算设备的所述预期位置标识所述多个对象的所述子集包括标识所述边界计算设备的预期零售货架位置。
5.如权利要求1所述的计算设备，其特征在于，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期使用标识所述多个对象的所述子集。
6.如权利要求1所述的计算设备，进一步包括：
建模电路，其用于将对象的三维模型转换成与所述对象相关联的多个二维图像；
其中，所述对象数据库电路还将与所述对象相关联的所述二维图像添加到所述对象识别数据库。
7.如权利要求1所述的计算设备，进一步包括：
对象识别电路，其用于基于从所述边界计算设备接收的缩略图图像使用所述对象识别数据库来标识对象；
其中，所述缩减电路还响应于基于所述缩略图图像对所述对象的标识将与所述对象相关联的各二维图像添加到经更新的缩减对象识别数据库；以及
其中，所述通信电路还(i)从所述边界计算设备接收所述缩略图图像并且(ii)将所述经更新的缩减对象识别数据库发送给所述边界计算设备。
8.一种用于边界设备对象识别的方法，所述方法包括：
由计算设备访问对象识别数据库，其中，所述对象识别数据库包括与多个对象相关联的二维图像；
由所述计算设备基于边界计算设备的身份来标识所述多个对象的子集，其中，所述多个对象的所述子集中的每一对象包括预期由所述边界计算设备在图像中捕捉的对象；
由所述计算设备基于所述对象识别数据库来生成缩减对象识别数据库，其中，所述缩减对象识别数据库包括与所述多个对象的所述子集相关联的二维图像；以及
由所述计算设备将所述缩减对象识别数据库发送给所述边界计算设备。
9.如权利要求8所述的方法，进一步包括：
由所述计算设备基于第二边界计算设备的身份来标识所述多个对象的第二子集，其中，所述多个对象的所述第二子集中的每一对象包括预期由所述第二边界计算设备在图像中捕捉的对象；
由所述计算设备基于所述对象识别数据库来生成第二缩减对象识别数据库，其中，所述第二缩减对象识别数据库包括与所述多个对象的所述第二子集相关联的二维图像；以及
由所述计算设备将所述第二缩减对象识别数据库发送给所述第二边界计算设备。
10.如权利要求8所述的方法，其特征在于，基于所述边界计算设备的身份标识所述多个对象的所述子集包括基于所述边界计算设备的预期位置标识所述多个对象的所述子集。
11.如权利要求8所述的方法，进一步包括：
由所述计算设备将对象的三维模型转换成与所述对象相关联的多个二维图像；以及
由所述计算设备将与所述对象相关联的所述二维图像添加到所述对象识别数据库。
12.如权利要求8所述的方法，进一步包括：
由所述计算设备从所述边界计算设备接收缩略图图像；
由所述计算设备基于所述缩略图图像使用所述对象识别数据库来标识对象；
响应于基于所述缩略图图像标识所述对象，由所述计算设备将与所述对象相关联的二维图像添加到经更新的缩减对象识别数据库；以及
由所述计算设备将所述经更新的缩减对象识别数据库发送给所述边界计算设备。
13.一种用于边界设备对象识别的计算设备，所述计算设备包括：
通信电路，其用于从服务器计算设备接收缩减对象识别数据库，其中，所述缩减对象识别数据库包括与多个对象相关联的二维图像；
事件电路，其用于监视设备事件的发生；
图像捕捉电路，其用于从所述计算设备的相机捕捉图像数据；以及
对象识别电路，其用于(i)响应于所述设备事件的发生基于所述图像数据通过所述缩减对象识别数据库来执行对象识别；并且(ii)响应于所述对象识别的执行而执行对象识别动作。
14.如权利要求13所述的计算设备，其特征在于，监视所述设备事件的发生包括从所述计算设备的一个或多个传感器接收传感器数据。
15.如权利要求14所述的计算设备，其特征在于，所述设备事件包括开门事件或关门事件。
16.如权利要求13所述的计算设备，其特征在于，从所述相机捕捉所述图像数据包括响应于所述设备事件的发生从所述相机捕捉所述图像数据。
17.如权利要求13所述的计算设备，其特征在于，执行所述对象识别包括基于所述图像数据生成加权识别值。
18.如权利要求13所述的计算设备，其特征在于：
所述对象识别电路还(i)判断是否响应于所述对象识别的执行识别了对象，并且(ii)响应于判断所述对象未被识别，基于所述图像数据生成未识别的对象的缩略图图像；以及
所述通信电路还将所述未识别的对象的所述缩略图图像发送给所述服务器计算设备。
19.如权利要求18所述的计算设备，其特征在于，所述通信电路还响应于所述缩略图图像的传送从所述服务器计算设备接收经更新的对象识别数据库，其中，所述经更新的对象识别数据库包括与所述未识别的对象相关联的二维图像。
20.一种用于边界设备对象识别的方法，所述方法包括：
由计算设备从服务器计算设备接收缩减对象识别数据库，其中，所述缩减对象识别数据库包括与多个对象相关联的二维图像；
由所述计算设备监视设备事件的发生；
由所述计算设备从所述计算设备的相机捕捉图像数据；
响应于所述设备事件的发生，由所述计算设备基于所述图像数据使用所述缩减对象识别数据库来执行对象识别；以及
响应于执行所述对象识别，由所述计算设备执行对象识别动作。
21.如权利要求20所述的方法，其特征在于，监视所述设备事件的发生包括从所述计算设备的一个或多个传感器接收传感器数据。
22.如权利要求21所述的方法，其特征在于，所述设备事件包括开门事件或关门事件。
23.如权利要求20所述的方法，其特征在于，执行所述对象识别包括基于所述图像数据生成加权识别值。
24.如权利要求20所述的方法，进一步包括：
响应于执行所述对象识别，由所述计算设备判断是否识别了对象；
响应于判断所述对象未被识别，由所述计算设备基于所述图像数据生成未识别的对象的缩略图图像；以及
由所述计算设备将所述未识别的对象的所述缩略图图像发送给所述服务器计算设备。
CN201610655915.5A 2015-09-11 2016-08-11 用于物联网边界设备的对象识别的技术 Pending CN106529384A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/851,094 US9740951B2 (en) 2015-09-11 2015-09-11 Technologies for object recognition for internet-of-things edge devices
US14/851,094 2015-09-11

Publications (1)

Publication Number Publication Date
CN106529384A true CN106529384A (zh) 2017-03-22

Family

ID=58238781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610655915.5A Pending CN106529384A (zh) 2015-09-11 2016-08-11 用于物联网边界设备的对象识别的技术

Country Status (3)

Country Link
US (1) US9740951B2 (zh)
JP (1) JP6273324B2 (zh)
CN (1) CN106529384A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186509A1 (en) * 2019-03-21 2020-09-24 Hangzhou Fabu Technology Co. Ltd A scalable data fusion architecture and related products

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973346B2 (en) * 2015-12-08 2018-05-15 Honeywell International Inc. Apparatus and method for using a distributed systems architecture (DSA) in an internet of things (IOT) edge appliance
US11115785B2 (en) * 2016-01-14 2021-09-07 Motorola Solutions, Inc. Managing communication groups based on objects in image feeds
JP6943187B2 (ja) * 2017-07-11 2021-09-29 日本電信電話株式会社 センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
JP7006159B2 (ja) * 2017-11-14 2022-01-24 トヨタ自動車株式会社 サーバ装置
US11068876B2 (en) * 2018-03-30 2021-07-20 Norton LifeLock Securing of internet of things devices based on monitoring of information concerning device purchases
JP2020010204A (ja) * 2018-07-09 2020-01-16 株式会社東芝 センシングシステム、保守端末装置、データ配布方法、および画像センサ
US11294949B2 (en) 2018-09-04 2022-04-05 Toyota Connected North America, Inc. Systems and methods for querying a distributed inventory of visual data
US20200082576A1 (en) 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US10810430B2 (en) * 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
JP7286333B2 (ja) 2019-02-06 2023-06-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US11196837B2 (en) * 2019-03-29 2021-12-07 Intel Corporation Technologies for multi-tier prefetching in a context-aware edge gateway
CN110298819A (zh) * 2019-05-23 2019-10-01 网宿科技股份有限公司 一种目标对象的质检方法及边缘计算设备
US20230306784A1 (en) * 2020-12-16 2023-09-28 Motorola Solutions, Inc. System and method for leveraging downlink bandwidth when uplink bandwidth is limited

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (ja) * 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP2006309722A (ja) * 2005-03-31 2006-11-09 National Institute Of Information & Communication Technology 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム
US20100191689A1 (en) * 2009-01-27 2010-07-29 Google Inc. Video content analysis for automatic demographics recognition of users and videos
JP2011237970A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
JP2011242861A (ja) * 2010-05-14 2011-12-01 Ntt Docomo Inc 物体認識装置、物体認識システムおよび物体認識方法
JP2012123548A (ja) * 2010-12-07 2012-06-28 Casio Comput Co Ltd 情報表示システム、情報表示装置、情報提供装置、および、プログラム
CN103514882A (zh) * 2012-06-30 2014-01-15 北京百度网讯科技有限公司 一种语音识别方法及系统
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
JP2014206878A (ja) * 2013-04-12 2014-10-30 オムロン株式会社 画像認識装置、画像認識プログラム、記録媒体、および画像認識方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232153A (ja) * 1998-02-17 1999-08-27 Hitachi Ltd データベースシステム
US8230465B2 (en) * 2002-09-09 2012-07-24 Koninklijke Philips Electronics N.V. Data network, user terminal and method for providing recommendations
JP5768647B2 (ja) * 2011-10-11 2015-08-26 富士通株式会社 画像認識システムおよび画像認識方法
JP2014032539A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp オブジェクト認識スキャナシステム、辞書サーバ、オブジェクト認識スキャナ、辞書サーバプログラムおよび制御プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088912A (ja) * 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP2006309722A (ja) * 2005-03-31 2006-11-09 National Institute Of Information & Communication Technology 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム
US20100191689A1 (en) * 2009-01-27 2010-07-29 Google Inc. Video content analysis for automatic demographics recognition of users and videos
JP2011237970A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
JP2011242861A (ja) * 2010-05-14 2011-12-01 Ntt Docomo Inc 物体認識装置、物体認識システムおよび物体認識方法
JP2012123548A (ja) * 2010-12-07 2012-06-28 Casio Comput Co Ltd 情報表示システム、情報表示装置、情報提供装置、および、プログラム
CN103514882A (zh) * 2012-06-30 2014-01-15 北京百度网讯科技有限公司 一种语音识别方法及系统
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
JP2014206878A (ja) * 2013-04-12 2014-10-30 オムロン株式会社 画像認識装置、画像認識プログラム、記録媒体、および画像認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186509A1 (en) * 2019-03-21 2020-09-24 Hangzhou Fabu Technology Co. Ltd A scalable data fusion architecture and related products
US11037034B2 (en) 2019-03-21 2021-06-15 Hangzhou Fabu Technology Co., Ltd. Scalable data fusion architecture and related products

Also Published As

Publication number Publication date
JP6273324B2 (ja) 2018-01-31
JP2017054491A (ja) 2017-03-16
US9740951B2 (en) 2017-08-22
US20170076168A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106529384A (zh) 用于物联网边界设备的对象识别的技术
CN109146943B (zh) 静止物体的检测方法、装置及电子设备
CN110020620A (zh) 一种大姿态下的人脸识别方法、装置及设备
CN101853387A (zh) 立体仓库货物盘点方法及系统
CN106716439A (zh) 基于事件的下采样
CN105320085A (zh) 工业自动化数据的采集方法及装置、系统
CN113724368B (zh) 图像采集系统、三维重建方法、装置、设备以及存储介质
CN111159897B (zh) 基于系统建模应用的目标优化方法和装置
CN110370268A (zh) 箱内拣选的方法、装置和系统
CN103477365A (zh) 信息处理装置、服务器装置、信息处理方法以及程序
CN102842041B (zh) 内部位置识别方法和装置
AU2017288044B2 (en) Method and system for flexible, high performance structured data processing
CN110300959A (zh) 动态运行时任务管理
CN201628974U (zh) 立体仓库货物盘点系统
CN108540541A (zh) 信息处理方法、信息处理装置及交换机
KR101780534B1 (ko) 이미지 기반 검색을 위한 맵리듀스 기반의 이미지 특징 추출 방법 및 시스템
CN106933509B (zh) 一种磁盘编号的处理方法及电子设备
CN112261123B (zh) 基于区块链和物联网设备的回收物品上链方法及其系统
CN115690845A (zh) 一种运动轨迹预测方法及装置
CN110189065A (zh) 一种确定种子订单的方法和装置
CN108076253A (zh) 一种智能电子设备和图像处理单元、装置、方法
CN111260070B (zh) 运算方法、装置及相关产品
CN109784125A (zh) 深度学习网络处理装置、方法及图像处理单元
CN109712011A (zh) 社区发现方法和装置
CN109542705A (zh) 一种监控项添加方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322