CN102177524B - 使用先进图像识别的基于图像的库存控制系统 - Google Patents

使用先进图像识别的基于图像的库存控制系统 Download PDF

Info

Publication number
CN102177524B
CN102177524B CN200980140153.3A CN200980140153A CN102177524B CN 102177524 B CN102177524 B CN 102177524B CN 200980140153 A CN200980140153 A CN 200980140153A CN 102177524 B CN102177524 B CN 102177524B
Authority
CN
China
Prior art keywords
drawer
image
camera
region
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980140153.3A
Other languages
English (en)
Other versions
CN102177524A (zh
Inventor
斯蒂芬L·格利克曼
大卫A·杰克逊
马太J·立普斯
普雷斯顿·菲利普斯
弗雷德里克J·罗杰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap On Inc
Original Assignee
Snap On Tools Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap On Tools Corp filed Critical Snap On Tools Corp
Publication of CN102177524A publication Critical patent/CN102177524A/zh
Application granted granted Critical
Publication of CN102177524B publication Critical patent/CN102177524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25H—WORKSHOP EQUIPMENT, e.g. FOR MARKING-OUT WORK; STORAGE MEANS FOR WORKSHOPS
    • B25H3/00—Storage means or arrangements for workshops facilitating access to, or handling of, work tools or instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25H—WORKSHOP EQUIPMENT, e.g. FOR MARKING-OUT WORK; STORAGE MEANS FOR WORKSHOPS
    • B25H3/00—Storage means or arrangements for workshops facilitating access to, or handling of, work tools or instruments
    • B25H3/02—Boxes
    • B25H3/021—Boxes comprising a number of connected storage elements
    • B25H3/023—Boxes comprising a number of connected storage elements movable relative to one another for access to their interiors
    • B25H3/028—Boxes comprising a number of connected storage elements movable relative to one another for access to their interiors by sliding extraction from within a common frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

基于捕获图像监测物品的库存状态的系统。一种示例性系统包括：至少一个收纳抽屉，各收纳抽屉均包括多个用于存储物品的存储单元；和数据存储装置，其存储用于各收纳抽屉的参考数据。针对所关注的与各个收纳抽屉对应的区域，所述参考数据包括：至少一个表示所关注区域在存在收纳的物品时的属性的参考图像信号；和至少一个表示所关注区域在不存在收纳的物品时的属性的参考图像信号。系统的数据处理器被构造成：使用所捕获的抽屉的图像导出表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的表示所捕获的关注区域的图像的属性的图像信号判定所述抽屉的库存状态。

Description

使用先进图像识别的基于图像的库存控制系统
相关申请 
本申请要求标题为“IMAGE-BASED INVENTORY CONTROL SYSTEM”(“基于图像的库存控制系统”)的临时专利申请61/087565的优先权的权益。 
技术领域
本申请涉及一种库存控制系统，更具体地，本申请涉及一种基于捕获的系统的各种收纳单元的图像来判定系统中收纳的物品的库存状态的基于图像的库存控制系统。 
背景技术
当在制造或者服务情况中使用工具时，使用后将工具归置于收纳单元是非常重要的，比如归置到工具箱中。工作人员通常进行手工库存检查工具箱以最小化或者消除贵重工具被误放或者被偷窃的问题。公司会随机核查工作人员的工具箱以防止被偷窃并监控工具位置。 
一些行业对于工具的库存控制有非常高的标准，以防止工具被遗留在工作区而造成严重的损害的事件。对于航空工业，确保没有工具被偶然遗留在正在制造的、组装的或正在被修理的航空器或者导弹中是非常重要的。航空工业协会(the Aerospace Industries Association)甚至建立了一个称为《国家航空标准》)(《National Aerospace Standard》)的标准以减小异物(FOD)对航空产品的损伤，该标准包括推荐的工序、人员管理和操作。FOD被定义为非航空器的结构的一部分的物体。所发现的最为普通的异物有螺母、螺栓、保险丝和手工工具。对于工具的库存是关键的，以防止工具被遗留在航空器中。 
一些工具箱试图建立内置的库存确认特性，用以追踪收纳在这些工具箱中的工具的库存状态。例如，一些工具箱在各工具收纳单元中或者紧接工具收纳单元布置接触传感器、磁性传感器或者红外传感器，以检测工具是否被放置在各工具收纳单元中。基于这些传感器产生的信号，工具箱能够判定是否有任意的工具缺失。虽然这种类型的库存检查在一定程度上是有用的，但也存在各种缺点。例如，如果传感器 检测到一些物体正在占据收纳单元，工具箱将判定该收纳单元中无工具缺失。但是，工具箱并不知道是否是正确的工具被放回到工具箱中或者仅是有一些物体被放置在收纳单元中以欺骗所述系统。另外，为工具箱中的多个收纳单元设置传感器是繁杂并且昂贵的，并且大量的传感器易于受损或者功能失效，这样会产生虚假的正面警报或者负面警报。 
因此，需要一种有效的库存控制系统，其能够协助追踪和计录工具的使用及这些工具是否在使用之后被适当地放回。还需要一种精确地知道什么工具被移除或放回到工具箱中的库存控制系统。另外，由于多个工人可能使用同一工具箱，因此另外还需要一种能够追踪用户及用户对于工具的使用的库存控制系统，以确定任意的工具缺失或者误放的责任。 
发明内容
本发明说明了高度自动化的库存控制系统的各种实施方式，所述库存控制系统利用独有的机器成像和方法以识别收纳单元中的库存状态。所示的特性包括：充分利用系统资源、自动成像和相机校正来处理复杂图像数据的能力；根据图像数据识别工具特性；自适应定时以捕获库存图像；用于检查库存状态的参考数据的有效生成；图像品质的自动补偿等。 
一种示例性库存控制系统包括：至少一个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括：表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；以及数据处理器。所述数据处理器被构造成：使用所捕获的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。所捕获的抽屉的图像可以是整个抽屉的图像或者是抽屉的局部图像。 
在一个方面中，基于与预设图像属性相关的图像的像素数目分布 导出所述图像信号。通过获取包括与预设图像属性相关的像素数目分布的数据，数据处理器生成图像的图像信号；基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；基于所识别的像素组的共同图像属性生成图像信号。 
各收纳单元被构造成收纳预先指定的工具；各收纳单元与一个或多个预先定义的关注区域相关联。在一个实施例中，所述数据处理器基于与所述收纳单元相关联的各关注区域的图像信号和对应于与所述收纳单元相关联的各关注区域的参考图像信号的相关性，判定各收纳单元的所述预先指定的工具的库存状态。 
一种在库存控制系统中使用的用于判定在所述库存控制系统中收纳的物品的库存状态的方法，所述系统包括至少一个用于收纳物品的收纳抽屉、存储各收纳抽屉的参考数据的数据存储装置，其中对于与各个收纳抽屉相对应的各关注区域，所述参考数据包括：表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号，和表示所关注区域不存在收纳的物品时的属性的至少一个参考图像信号；所述方法包括：捕获抽屉的图像；导出用于表示与抽屉对应的所关注区域的属性的图像信号；根据所存储的与所关注区域相关的参考数据和所导出的用于表示与所述抽屉对应的关注区域的属性的图像信号判定所述抽屉的库存状态。 
根据另一个实施方式，根据本发明的一个库存控制系统包括：至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；图像传感器，构造成捕获一个所述收纳抽屉的图像；数据存储系统，其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息；和数据处理器。所述数据处理器被构造成：获取捕获的所述抽屉的图像；获取与所述抽屉对应的所述参考数据；基于存储的与所述抽屉对应的所述参考数据和捕获的所述收纳抽屉的图像判定所述抽屉的库存状态。其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。 在一个方面中，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从(变为基于(change to based on))所述数据文件导出所述参考数据。 
根据又一个实施方式，提出了一种新颖的方法，该方法用于准备库存控制系统中使用的参考数据，该库存控制系统用于判定在所述库存控制系统中收纳的物品的库存状态。所述系统包括：至少一个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括：基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构。 
这里说明的方法和系统可以用一个或多个计算机系统和/或适当的软件来实现。 
应理解，这里说明的实施方式、步骤和/或特性能够分别地或者以与一个或多个其它步骤、实施方式和/或特性组合的方式来执行、利用、实现和/或实行。 
本发明的其它的优点和新特性一部分将在下面的说明书中提出，一部分对于本领域技术人员通过对下面内容的检测是明显的，或者可以通过对本发明的实践而学习到这些优点和新特性。所示和所描述的实施方式说明了执行本发明的最佳方案。在不偏离本发明的精神和范围的前提下，能够对各种明显的方面进行修改。因此，附图和说明书应认为在本质上是说明性的，而不是限制性的。可以借助于所附权利要求中特别指出的方法和组合实现和获得本发明的优点。 
附图说明
在下面的附图中以示例的方式而非限制的方式说明了本发明，其在全部附图中具有相同附图标记的元件表示类似的元件，在附图中： 
图1a和图1b示出了示例性收纳单元，可用于实现根据本发明的 实施方式； 
图2示出了处于打开模式的示例性收纳抽屉的内部细节图； 
图3示出了根据本发明的示例性工具收纳系统； 
图4a至图4c和图4e是图3中所示的工具收纳系统的不同视图； 
图4d示出了示例性图像被组合在一起的过程； 
图5示出了示例性的工具切除部、缓冲区和扩展区； 
图6a和图6b是本发明中使用的示例性标识符设计； 
图7a至图7e和图8a至图8d示出了图像校准的示例； 
图9是示例性联网库存控制系统的框图；和 
图10a至图10d是在根据本发明的示例性系统存取期间的示例性监测记录和所获取的图像的说明性图。 
具体实施方式
在下面的说明中，为了说明的目的，提出了若干具体细节以透彻的理解本发明。具体地，在工具管理和工具库存控制的上下文中，描述了利用机器视觉来识别收纳单元的库存状态的说明性实施方式的操作。但是，本领域技术人员清楚地理解，本发明的构思的实行或实现可以不采用这些特定的细节。类似的构思可以用在其它类型的库存控制系统中，比如：库房管理、珠宝库存管理、易损物质或者受控物质管理、小型酒吧库存管理、药品管理、金库或保险箱管理等。在其它的示例中，以框图的形式示出了熟知的结构和装置，以避免不必要地模糊本发明。如整个说明书中所使用的，物品的、区域的或者抽屉的术语“一幅捕获的图像”、“捕获的多幅图像”、“一幅图像”或者“多幅图像”定义为整个物品的、区域和或抽屉的图像，或者指物品的、区域的或者抽屉的局部图像。 
示例性库存管理系统概述
图1a和图1b示出了示例性收纳单元，其中实现了根据本发明的库存控制系统。图1a是包括多个收纳抽屉120的示例性工具收纳系统100。各收纳抽屉120包括多个用于收纳各种类型的工具的收纳单元。如整个说明书中所使用的，收纳单元是在收纳系统中用于收纳或者固 定物品的单元。在一个实施方式中，各工具在工具收纳系统中具有特定的预先指定的收纳单元。 
各收纳抽屉在不允许存取抽屉的内容物的闭合模式和允许部分地或全部地存取抽屉的内容物的打开模式之间操作。当收纳抽屉从闭合模式向打开模式移动时，收纳抽屉允许扩大对于其内容物的存取。另一方面，如果收纳抽屉从打开模式向闭合模式移动，则收纳抽屉允许减小对其内容物的存取。如图1a中所示，全部的收纳抽屉120处于闭合模式。 
锁定装置可用以控制对于收纳抽屉120的内容物的存取。各个收纳抽屉120可以具有其自身的锁定装置或者多个收纳抽屉120可以共有一个共用的锁定装置。仅通过鉴权的或者被授权的用户能够存取收纳抽屉的内容物。 
收纳抽屉可以具有不同的大小、形状、布局和配置。图1b示出了另一种类型的工具收纳系统200，其包括多个收纳搁板或者收纳舱220和固定于收纳搁板250的单个门250。收纳搁板或者收纳舱可以形成不同的大小、形状、布局和配置。 
图2示出了处于打开模式的示例性收纳抽屉120的内部细节。各收纳抽屉120包括具有多个收纳单元的泡沫基部180，比如切除部181，用于收纳工具。各切除部被特定地成型，用于适配地用相应的形状接收工具。可以用钩、尼龙搭扣带、闩锁、泡沫的压力等将工具固定在各收纳单元。 
根据本发明的示例性库存控制系统通过捕获并处理用以收纳物品的收纳单元的图像而判定物品的库存状态。所述系统包括执行不同功能所需的各种子系统，包括：收纳子系统、成像子系统、存取控制子系统、供电子系统、用户接口子系统、数据处理子系统、传感器子系统和网络子系统。应理解，该子系统的列表仅是为了说明的目的，并非对子系统的穷尽。根据设计需要，根据本发明的示例性系统可以使用更多的或者更少的子系统。另外，并不是所有的子系统都必须是库存控制系统的整体的部分。在一个实施方式中，本发明中各种功能可以基于包括多个连接到数据传输网络的子系统的分布式架构实现。由数据传输网络连接的各子系统实现整个系统的一部分功能。以此，全 部的系统功能分布于经由数据传输网络通信的多个子系统。能够建立通信方法或者这些方法的组合，以使库存控制系统外部的各个子系统或者数据处理系统通过网络实现无缝信息共享。所述方法可以包括传输控制协议/因特网协议(TCP/IP)、DISCO、SOAP、XML、DCOM、CORBA、HTML、ASP、Microsoft.NET协议、Microsoft.NET Web Services和其它的替代通信方法。 
(1)收纳子系统 
收纳子系统包括多个用于收纳物品的收纳单元，如图1a、图1b和图2中所示的多个收纳单元。应理解，用于收纳物品的其它类型的收纳系统可用以实现所述收纳子系统。 
(2)成像子系统 
成像子系统包括一个或多个被构造成用以捕获部分或全部内容物或收纳单元的图像的图像感应装置、和提供所需照明的照明装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或其它类型的捕获图像的装置。所述图像感应装置可以可选地包括预处理部件，用于预处理捕获的图像。预处理的示例包括数据压缩、增强、信息读取、数据挖掘、导出特定的预定区域或者关注区域及周期区域的所关注项的特性等。图像感应装置通过位于本地的或者远程的数据处理系统传输原始图像数据或者任意的预处理数据以进行处理或者检视。照相机可以包括用于连接到数据传输网络的网络接口，用于传输捕获的图像、预处理的图像、从捕获的图像中导出的信息等。 
(3)存取控制子系统 
存取控制子系统包括：一个或多个身份验证装置，用于验证或者鉴权意图存取收纳在收纳系统中的物品的用户的身份或者鉴权等级；和一个或多个锁定装置，控制对于收纳系统中的收纳单元的存取。例如，存取控制子系统将一些或者全部收纳抽屉保持在闭合位置，直到身份鉴权装置对用户授权，可以存取所述收纳子系统。 
存取控制子系统可以使用一个或多个存取授权方法，用以确认用户的鉴权等级，比如通过使用键盘输入访问码或者口令、通过钥匙卡读卡器从钥匙卡或者钥匙圈(fob)读取持有所述卡片或者钥匙圈的用 户的授权等级、使用比如指纹读取器或者视网膜扫描的生物测量法(biometric method)、面部识别、磁性ID卡或者射频ID卡、接近传感器、占位传感器、和/或手工进入或其它方法。在一个实施方式中，独立地控制和授权对于各收纳系统300的存取。基于赋予用户的授权等级或者存取等级，用户能够被授权存取一个或多个抽屉，但不能存取其它的抽屉。 
(4)供电子系统 
供电子系统提供和管理供给到库存存取控制系统的电力。供电子系统包括一个或者多个电源，该电源包括连接到一个或者多个AC电源和/或到一个或多个储电装置，比如电池和/或电池充电器。该子系统还可以包括用于跟踪系统的例如AC电源和电池电源之间的切换的供电状态、监测电池的充电状态所需要的电路和控制器。可以设置外部充电器，从而电池可以在系统外部被充电并保存，用于快速更换系统中失效的电池。在一个实施方式中，远程电池充电器可以连接到与库存控制系统联接的数据网络，以报告在远程充电器处被充电的电池的充电状态。在另一个实施方式中，供电子系统联接到相对于库存控制系统远程的主计算机，向主计算机提供关于库存控制系统的供电状态的信息，比如电源失效、充电状态、可用供电等。 
(5)用户接口子系统 
用户接口子系统包括用于与库存控制系统的用户通信的装置，比如一个或多个显示器、麦克风、扬声器、键盘、鼠标或者任意其它的将信息输出到用户和/或允许用户输入信息的装置。用户可以是意图存取库存控制系统中的物品或者工具的技师，或者是管理系统的库存状态的管理人员。 
(6)数据处理子系统 
数据处理子系统，比如计算机，负责处理由成像子系统捕获的图像和/或生成库存状态的报告。图像感应装置捕获或形成的图像由数据处理系统处理，用于判定库存状态。本公开全文中使用的术语“库存状态”指与物品的存在状态或者不存在状态相关的信息。 
数据处理子系统可以是库存控制系统的一体的部分；或者是具有比如有线链路(link)或者无线链路的数据链的远程计算机，该远程 计算机联接到库存控制系统；或者是整合在库存控制系统中的计算机与相对于库存控制系统远程的计算机的组合。将简要说明形成图像和判定库存状态的细节操作。 
在一个实施方式中，数据处理子系统保持用户和/或物品信息和历史。用户可以查询数据处理子系统以获得状态、建立用户、处理异常、系统维护等。在另一个实施方式中，设置有库存控制系统之外的主系统，所述主系统联接到经由数据链路或者网络整合在库存控制系统中的计算机，用于提供监管或维护功能，观察监测图像、提供各项状态和区位(location)的报告和总结等。 
(7)传感器子系统 
根据所需的功能，在成像子系统之外，可以设置传感器子系统，用于感应关注的物品或区域或者它们周围环境的属性。这些属性可以用来与成像子系统的图像感应装置获得的图像信息结合，以增强对物品或者其状态的识别。传感器子系统可以包括用于感应条件，比如压强、光、力、应力、磁场、容性感应、RFID、电场、力矩、加速度、定向、位置、定位、GPS、射频三角测量(triangulation)、光三角测量、接近、地心场强和/或方向的传感器，可以包括接触和简单地手工进入或交互作为输入。 
(8)网络子系统 
网络子系统允许子系统在子系统和/或具有数据通信网络的接口和/或另一库存控制系统外部的用于实现数据通信的数据处理系统之间形成数据通信。实现网络接口的装置的示例包括一个或多个以太网接口、RS-232、RS-422、RS-485、访问总线、I2C、IE总线、LIN总线、MI总线、超精细总线、MOST、MPI总线、SMBus、SPI(串行外围接口)、USB、WiFi或者其它无线以太网、光纤、Zigbee、IEEE 802.15.4、Rubee、蓝牙、UWB(Ultra-Wideband，超宽带)、IrDA、或者任意其它的适当的窄带或者宽带的数据通信技术。可以在库存控制系统内部和/或外部使用各种通信接口的组合。 
根据一个实施方式，如下进行一个操作循环：存取控制子系统接收用户的识别信息。数据处理子系统使用户生效并且分别由经由以太网和TCP/IP发送指令以激活图像感应装置、调节成像子系统使用的照 明并解除锁定。图像感应装置获取收纳单元的图像，并将捕获的图像组合在一起，用于评估与物体相关的关注区域。成像子系统计算捕获的图像的属性并且将所述属性经由以太网通信网络发送到数据处理子系统以进一步评估。数据处理子系统评估所述属性并判定库存状态、更新库存数据库中的记录并且向用户反馈。一旦用户退出系统，数据处理子系统经由以太网通信网络发出指令以结束对话、固定(secure)抽屉、和关闭成像子系统中的照明和图像感应装置。 
图3示出了实现为根据本发明的用于收纳工具的工具收纳系统300的示例性库存控制系统。收纳系统300包括：显示器305；比如读卡器的存取控制装置306，用于验证意图存取收纳系统300的用户的身份和鉴权等级；用于收纳工具的多个工具收纳抽屉330。工具收纳系统300包括构造用以捕获系统的内容物或者收纳单元的图像的图像感应装置。图像感应装置可以是基于镜头的照相机、CCD照相机、CMOS照相机、视频摄像机或者捕获图像的任意其它类型的装置。 
系统300包括比如计算机的数据处理系统，用于处理由图像感应装置捕获的图像。图像感应装置捕获或者形成的图像由数据处理系统处理，用于判定系统的或者各收纳抽屉的库存状态。全公开全文中使用的术语“库存状态”指与收纳系统中的物品的存在或者不存在相关的信息。 
数据处理系统可以是工具收纳系统300的一部分；可以是具有比如有线链路或者无线链路的数据链路的、联接到工具收纳系统300的远程计算机；或者可以是整合在收纳系统300中的计算机与收纳系统300的远程计算机的组合。将简要说明形成图像和判定库存状态的详细操作。 
抽屉330类似于图1a中所示的那些抽屉120。显示器305是收纳系统330的输入和/或输出装置，构造成用以向用户显示信息。可以经由各种类型的输入装置输入信息，比如键盘、鼠标、声音识别、触摸板等。存取控制装置306用以限制或者允许对于工具收纳抽屉330的存取。存取控制装置306通过使用一个或多个锁定装置，将一些或者全部的收纳抽屉330锁定在闭合位置，直到存取控制装置306授权用户存取收纳系统300的权限。 
存取控制装置306可以使用一个或者多个存取授权部件，以确认用户的授权等级，比如通过使用键盘输入访问码、使用读卡器以从钥匙卡或者钥匙中读取持有所述卡或者钥匙的用户的授权等级、比如指纹读取器或者视网膜扫描的生物学方法、或者其它的方法。如果存取控制装置306判定用户被授权存取收纳系统300，则存取控制装置306根据用户的授权等级解锁一些或者全部的收纳抽屉330，允许用户移除或者更换工具。在一个实施方式中，独立地控制和授权对于各收纳抽屉300的存取。基于赋予的授权等级或者访问等级，可以授权用户存取系统300的一个或者多个抽屉，但不能存取其它的抽屉。在一个实施方式中，存取控制装置306在用户闭合抽屉之后重新锁定收纳抽屉330。 
存取控制装置306的位置并不局限于收纳系统300的前部。其可以布置在系统的顶部或者布置在系统的侧面。在一个实施方式中，存取控制装置306与显示器305整合在一起。用于授权目的的用户信息可以通过具有触摸功能的显示装置、面部检测照相机、指纹读取器、视网膜扫描器或者任何其它类型的用于确认对于用户存取收纳系统300的授权的装置输入。 
图4a和图4b示出了工具收纳系统300中的成像子系统的局部立体图。如图4a所示，采用读卡器形式的存取控制装置306被布置于系统的侧面。收纳系统300包括成像舱330，所述成像舱330容纳包括三个照相机310和一个光重定向装置的图像感应装置，所述光重定向装置比如是具有向下相对于竖直面成大约45°角的反射面的镜312，用于将从抽屉330反射的光重定向到照相机310。重定向后的光在到达照相机310后，使照相机310形成抽屉330的图像。镜312下方的阴影区340表示工具收纳系统300的图像感应装置的视场。镜312的宽度等于或大于各收纳抽屉的宽度，并且将照相机的视角重定向为向下朝向抽屉。图4e是系统300的说明性侧视图，其示出了照相机310、镜312和抽屉330之间的相对位置。从任意抽屉330反射向镜312的光被重定向到照相机310。 
图4b是与图4a相同的立体图，不同之处在于移除了成像舱330的盖以显示设计的细节。各照相机310均关联于一个视场311。如图4b所示，照相机310的组合的视场形成了图像感应装置的视场340。 视场340具有x的深度。例如，视场340的深度可以近似为2英寸。 
图4c是图4a中所示的工具收纳系统300的替换立体图，不同之处在于收纳抽屉336正在允许部分地存取其内容物或者收纳抽屉336中的收纳单元的打开模式中操作。 
照相机310和镜312在图4a至图4c中的该配置使得照相机310能够从顶部抽屉向底部抽屉捕获图像，而不需要较大地变化其焦距。 
在一个实施方式中，照相机310在各收纳抽屉开启或关闭时捕获各收纳抽屉的多个部分图像。由照相机310捕获的各图像可以与唯一的ID或者标识图像捕获时间的时间戳(time stamp)关联。图像采集由工具收纳系统300中的数据处理器控制。在一个实施方式中，捕获的图像覆盖抽屉的全宽，但深度仅近似地为2英寸。捕获的图像在深度上和/或宽度上有些重叠。如图4D所示，不同照相机310在不同时间点处获取的部分图像41-45可以组合在一起，以形成部分或者整个抽屉和其内容物和/或收纳单元的单幅图像。该组合可以由数据处理器或者由所安装的计算机或者远程的计算机使用脱壳(off-the-shell)程序或者定制开发的软件程序进行。由于以近似两英寸的片断捕获图像，各照相机捕获多个图像片断。可以在各抽屉中包括一个或者多个可视刻度(visible scale)。处理器可以以类似于视频监控的快速成像模式监测图像的包含刻度的部分。当刻度到达特定的位置或者计算出的位置时，数据处理系统控制图像感应装置以捕获和记录图像片断。该刻度还可以协助图片组合。另外，比如栅格的图案可以施加到抽屉的表面。所述图案可用以协助组合或者协助图像捕获处理。 
在另一个实施方式中，图像感应装置包括更大的镜和具有广角镜头的照相机，以生成更深的视场x，使得降低或者完全消除对于图像组合的需求。 
在一个实施方式中，使用一个或多个线性扫描照相机来实现图像感应装置。线性扫描照相机沿大致的一维方向捕获图像。所述图像将具有依赖于传感器的显著的宽度，但图像深度仅是一个像素。线性扫描照相机捕获横跨工具抽屉的宽度的但仅一个像素深的图像带(image strip)。每次抽屉330移动过预定的部分量，照相机将捕获另一个图像带。在本示例中，图像带必须组合在一起以形成可用的全幅抽屉图 像。这同样是许多复印机中用以捕获原稿图像的操作。原稿移动过线性扫描照相机，多个图像带被组合在一起以形成整个原稿的图像。 
除了镜之外，应明白比如如下的其它装置可用以实现光重定向装置以用于将来自物品的光定向朝向远程照相机，例如棱镜；包括平面镜、凹透镜和/或凸透镜的不同类型透镜的组合；光导纤维；或任何其它能够将光从一个点定向到另一个点的装置。另一种可选方案是使用光导纤维。使用光重定向装置可能向捕获的图像中引入失真。可以进行校准或者图像处理以消除该失真。例如，照相机310可以首先观察由光重定向装置反射的已知的简单栅格图案，并生成失真映像供数据处理处理器用以调整捕获图像以补偿镜失真(mirror distortion)。 
为更好地进行图像捕获和处理，期望校准照相机。照相机可以包括一定的与图像失真或焦距相关的安装变量。照相机能够以类似于减小镜失真的方式被校准以减小失真。实际上，镜校准能够补偿照相机失真和镜失真，并且其也许是所使用的唯一的失真校准。另外，各个照相机可以用特定的夹具(fixture)校准，以确定它们的透镜的实际焦距，并且能够用软件补偿单个系统中的照相机与照相机之间的差异。 
在一个实施方式中，图像感应装置并不包括任何的镜。而是，一个或多个照相机被配置在布置镜312的位置处。在本示例中，照相机直接向下指向收纳抽屉330。在另一个实施方式中，各收纳抽屉330具有一个或多个用于捕获该收纳抽屉的图像的照相机。 
判定库存状态
在示例性系统300中，抽屉330中的各收纳单元被构造成收纳预先指定的物品，比如预先指定的工具。例如，如图2所示，各抽屉330包括具有多个用于收纳预设的工具的工具切除部181的泡沫层泡沫基部180。各工具切除部具有大致类似于收纳在切除部中的工具箱的轮廓的形状。系统300基于一个或多个预定关注区域(ROI)的图像数据判定各物品的存在或者缺失。关注区域(ROI)是如下的预先定义的区域：该区域的图像数据包括判定特定收纳单元处的物品的存在或缺失的有用信息。ROI可以由系统设计者定义，ROI可以覆盖或者重叠工具切除区的一部分或者整个切除部，或者根本不覆盖或者重叠工具切除部。收纳系统300通过分析预先定义的ROI的图像数据而判定 物品或者工具的库存。将简要说明使用ROI判定库存状态的细节。 
为改进图像数据处理和传输的效率，系统300基于一个或多个ROI的捕获的图像导出的图像信号和ROI的参考图像信号判定抽屉330中的工具的存在或者缺失。图像信号表示包括相对于各图像或者ROI唯一的特定图像或者ROI。唯一的属性包括颜色、大小、形状、宽度、高度、深度、轮廓(silhouette)或者廓线、特定的重力、重量、直径、反射率、亮度(intensity)、热特性、粘性、尺寸、纹理、表面光洁度等中的一个或多个属性。根据一个实施方式，基于区域的一个或多个捕获图像导出这些属性的表示(representation)。将简要说明导出用于特定图像或者ROI的图像信号的细节。 
系统300读取标记参考数据，所述参考数据包括同一区域或者ROI在比如工具的物品存在时或者当所述物品缺失时的参考图像信号。对于各区域或者各ROI，参考图像信号可以通过在存在物品时和不存在物品时获取所述区域或者ROI的图像而生成。 
基于区域或者ROI的图像的图像信号与标记参考数据的相关性，系统300判定与收纳单元对应的物品存在或者缺失。例如，使用两组参考图像信号，一个与由相应的工具占用的切除部相对应，一个与未由相应的工具占用的同一切除部相对应。基于所捕获的覆盖切除部的区域的图像的图像信号与所捕获的紧密围绕切除部的区域的图像的图像信号、和同一区域的标记参考数据的相关性，判定库存状态。 
可以由系统300中的一个或者多个数据处理器或者安装的用于执行库存判定的计算机基于捕获的图像执行适当的软件。系统300的非易失性存储装置存储标识抽屉中的各已知收纳单元与其相应的预设物品之间的关系的信息。存储装置另外存储与关联于ROI或者工具的各工具和参考图像信号信息相对应的预先定义的ROI。一个或多个数据处理器判定抽屉中的哪个收纳单元被它们相应的预设工具占用并判定抽屉中的哪个收纳单元未被它们相应的预设工具占用。基于所存储的标识各收纳单元与它们的相应的预设物品的关系来判定对于一个或者多个存在和/或缺失工具的识别。系统还判定工具是否错位或者工具是否被误放。 
现在说明图像识别和库存判定的细节。 
根据本发明的示例性工具收纳系统使用独有的方法图像识别，其显著地降低了所需数据的量，并且进行所需要的计算在技术上需要的计算能力和时间更少。 
(1)参考数据标准 
如前所述，示例性系统300基于工具的和工具切除部的从捕获的图像导出的标记和参考图像信号判定工具的库存状态。本公开提出了产生参考图像信号的文件的有效并且独有的方法。 
为适当地有效地并且高效地处理照相机捕获的图像，系统300需要访问如下信息：说明包括与各工具相联系的预先定义的ROI的参考图像信号的参考数据的信息；包括各抽屉中的工具识别、工具定位、切除部位置的信息；切除部廓线；工具轮廓的限定；指状切除部的限定；工具轮廓之间的通道；各抽屉中的工具的位置相对于泡沫的已知特性的限定；部件数目；和进行图像识别有用的任意信息。所述信息整体上称为参考数据。 
根据本发明的示例性系统使用称为切除部文件的现有数据文件以高度自动化的方式生成参考数据。切除部文件在工具收纳系统中使用的具有工具廓线切除部的泡沫层的制造期间生成。这些切除部文件典型地采用工业标准格式，比如.dxf格式，并且包括用于各抽屉的工具轮廓切除部和抽屉中的各工具的相对位置的信息。生成抽屉泡沫层中使用的切除部文件另外提供了额外的有用信息：收纳各工具的抽屉、工具的部件号、国家序号、制造商部件号、工具序号、工具说明等。 
例如，由Snap-on(实耐宝)公司提供的称为True Fit(真正适配)的软件程序包括工具轮廓和与各工具相关的数据的数据库。当制造在工具收纳系统中使用的具有切除部181的泡沫层180时，泡沫布局技师(layout technician)根据包括待被包括在工具收纳系统中的全部工具的主工具列表以特定的顺序或者以定制的方式生成各抽屉330的泡沫布局。所述列表可以由销售代表和/或客户生成。当计算机执行True Fit程序时，该程序基于主工具列表和数据库中的关于各工具的预存数据为各抽屉330产生包括泡沫层的切除部文件。切除部文件包括各切除部的信息，比如形状和大小、工具列表，并且包括各抽屉中的各切除部的位置信息。在一个实施方式中，位置信息包括各切除部的相对 于各抽屉的共用坐标系统的坐标信息。然后，技师根据泡沫布局使用2D喷水切割刀(water jet cutter)或者3D加工刀具(machining tool)切割泡沫。 
通过使泡沫形成中使用的比如.dxf文件的切除部文件适应图像识别中使用的参考数据，工具收纳系统现在开始存取与各抽屉中的各工具的准确位置相关的数据、及切除部的形状和比如工具数目、序号等的其它有用的信息。该处理使得不需要手工将各工具录入到工具收纳系统的库存记录中，并且还可以提供关于各抽屉中的各工具的位置及与各工具相关联的数据的精确信息。从该处理导出的额外信息包括参考图像信号和其它工具属性，比如颜色、大小、形状、面积、质心、面积转动惯量、回转半径、具体尺寸(比如扳手开度、槽径、螺丝刀长度等)。因此，当加载了参考数据时，各工具的属性也可以由工具收纳系统读取。 
(2)关注区域 
为提高数据处理的效率，对于各个捕获的抽屉图像，示例性系统300不处理整幅图像，而是对于预定的关注区域(ROI)进行图像识别，所述关注区域(ROI)是捕获图像的子集并且由此包括的要求处理的数据很少。根据一个实施方式，各工具具有一个或多个预先定义的ROI。如先前所述，ROI可以覆盖或者重叠一部分的或者整个的工具切除部181，或者完全不覆盖或者不重叠工具切除部181。 
可以通过坐标系统中的切除部位置、切除部廓线、工具轮廓的限定、指状切除部的限定、工具轮廓之间的通道、各抽屉中的工具的位置相对于泡沫的已知特性的限定、工具说明、部件数目和进行图像识别有用的任意信息中的一项或多项说明关注区域。 
(3)转换处理(training process) 
计算机转换处理将切除部文件改编(adapt)为示例性工具收纳系统中使用的参考数据。转换处理中的示例性步骤说明如下： 
a.从泡沫切除部文件中读取工具信息 
该步骤读取并加载切除部文件，所述切除部文件包含包括有工具位置、轮廓、泡沫颜色、背景色、属性和其它数据的工具数据。 
该步骤在水平方向上和竖直方向上对图像划分刻度，以将切除部文件中使用的尺寸格式转换成为基于照相机和图像的系统中使用的像素。典型地，每个点有大约8到10个像素。使用带有适当的编码的软件转换文件用以进行该转换。 
b.生成工具位置数据结构 
通过处理与工具切除部相关的形状和位置，使用泡沫布局确定ROI。整幅图像的一个角部被定义为原点。然后，确定图像内的边界框的位置。ROI位于该边界框内并且由边界框内的行数和列数确定。包含一部分ROI的边界框内的像素被具体化为有序的数对(pairs)，其中以边界框的左上角为原点。ROI的示例性数据结构提供如下： 
c.判定哪个照相机处理工具 
在使用四台照相机或者使用六台照相机来捕获抽屉图像的示例性工具收纳系统中，每个照相机具有40°宽的视场(FOV)，其中在图像中心线的每一侧具有20°的FOV。照相机之间的图像能够重叠。根据抽屉的位置，顶部抽屉中的重叠部分较小，或者底部抽屉中的重叠部分较大，其中在底部抽屉中，每个照相机能够看到整个抽屉。通过确定每个工具ROI的质心的位置和将各个ROI赋予其中FOV中心线距离该ROI最近的照相机，工具及它们相关联的ROI被赋予照相机。 
如果ROI延伸到一个以上的照相机的会聚区域，则ROI被划分为 多个片断并被如上所述地赋予各个照相机。 
d.为工具生成膨胀区(dilation zone)和缓冲区(buffer zone) 
在一定的情形下，即使工具被置于其相应的切除部或者收纳单元中，与工具相关的捕获的图像也会偏离参考数据。例如，工具会悬出(overhang)工具切除部的边缘，或者会被紧密压入到泡沫中而形成压缩或变形，或者工具切除部可能不处于所期望的准确位置。这些情形如果不能适当地解决，会使工具收纳系统激发虚假报警。 
为解决这些问题，一个示例性系统利用独有的图像数据来评估工具的库存状态。如图5所示，围绕每个工具切除部设置膨胀区和缓冲区。缓冲区是绕工具切除部形成的环状环并且具有可调节的宽度，所述宽度比如是像素数。例如，工具切除部的缓冲区可以距离工具切除部的边界扩展离开5个像素。宽度是任意的，并且依赖于系统设计。膨胀区是围绕缓冲区的环状环并且可以赋予可调节的像素数目。例如，缓冲区可以距离缓冲区的外边界离开4个像素。该宽度是任意的并且依赖于系统设计。 
在一个实施方式中，评估图像时，忽略与缓冲区相关的图像数据，而评估与膨胀区相关的图像数据，用于评估比如颜色、亮度、色调和饱和度等的属性。该数据在后面将用以评估某些物体被置于工具切除部的边缘上的情形，示出错误的工具被放在收纳单元或者切除部中、或者正确的工具被不适当地旋转在收纳单元或者切除部中而错位、或者存在某些物体覆盖了至少一部分缓冲区。当这些发生时，将向用户或者管理者发出报警。 
4.基于图像信号的图像识别 
每个图像包括表示所述图像的独有的特性的属性。这些属性包括颜色、大小、形状、宽度、高度、深度、轮廓或者廓线、特定的重力、重量、直径、反射率、亮度、热特性、粘性、尺寸、纹理、表面光洁度等。根据本发明的示例性系统利用独有的方法从捕获图像中提取表示每个ROI的信息。所提取的信息独有地说明了ROI的属性，称为ROI的图像信号。 
如前所述，系统300中的非易失性存储装置存储与预先定义的ROI相关的数据，其中所述预先定的的ROI的图像数据需要由系统300 处理。预存储的对照表可用以识别每个工具、识别每个工具的相应的切除部信息、和识别其中图像数据可用以判定工具的库存状态的预选择的ROI。基于与工具关联的每个ROI的基于捕获的图像和参考图像信号导出的图像信号，判定工具的库存状态。由于用图像信号而不是原始图像数据来判定库存状态，显著地提高了信号处理和数据传输的效率。 
现在说明产生图像的图像信号的处理。说明了一个使用图像色调和饱和度的样本图像信号。还能够设想使用各种图像属性的其它标记用以判定库存系统中的各项的存在、缺失或者识别。 
该处理的示例性算法提供如下： 
RGB(红、绿、蓝)到HIS(亮度、色调、饱和度)的转换 
相关的结构为： 
示例性系统处理ROI中的与每个工具切除部及其周围的膨胀区对 应的像素数据。每个像素的RGB值被转换为HIS(亮度、色调、饱和度)值。示例性系统判定捕获的图像的图像属性的分布特性。例如，生成说明关于像亮度、色调和/或饱和度等各种图像属性的像素数目分布的柱状图(histogram)。 
在一个实施方式中，对于具有低于下限阈值(例如，.2)的亮度值的图像像素或对于具有高于上限阈值(例如，.8)的亮度值的图像像素，它们的色调和饱和度被认为是不可靠的并被忽略，并且被设置为零。这些像素被集合在两个单独的页(bin)中。 
对于亮度值在所述阈值之间的像素，忽略它们的亮度值，因为它们太易于被变化的照明亮度因素影响。对于这些像素，色调值和饱和度值被聚集在2D(色调—饱和度)柱状图的页中。在柱状图中，每个页表示色调和饱和度的一组预设值。 
然后，基于像素数目分布检查2D柱状图，以发现具有最多像素的页。与具有最多像素的页相邻的页被包括，直到页的像素计数低于峰值页中的像素计数的预定百分率(predefined fraction)。例如，预先定义的百分率可以设定为0.5。所选择页的平均亮度、色调和饱和度被计算并被输入到PP_COLOR结构中的byte项。 
PP_COLOR结构中的百分比项是该组页中的ROI中的全部像素的百分比。然后，本组中的页在任意其它的处理中被忽略，并且重复该处理以发现下一个这样的页组。重复该处理，直到发现预定数目的页组。 
在每个步骤中，还检查低亮度页和高亮度页中的像素的数目，这些页会对应于PP_SIGNATURE结构中的一个PP_COLOR结构。 
以该方式，用五个最稠密的像素颜色组填充ROI的图像信号的结构(PP_SIGNATURE)。以同样方式计算PP_SIGNAGURE结构中的、围绕工具的膨胀区的PP_COLOR结构。用五种颜色用于图像信号仅是一个示例，图像信号能够敷衍任意数目的颜色。 
对下面的基线图像执行类似的处理。 
工具切除部/ROI中无工具 
工具切除部/ROI中有工具；和 
膨胀区。 
作为设定步骤的一部分，获取参考图像信号。可以获取如下参考标记：每个工具切除部在已知存在正确的工具时的图像信号；每个工具切除部在已知工具缺失时的图像信号；每个膨胀区在已知存在正确的工具时的图像信号；每个膨胀区在已知工具缺失时的图像信号。然后，在通常的操作中，从捕获的图像获取ROI的图像信号并且将图像信号与已知不存在工具(tool-known-to-be-not-present)的数据、已知存在工具(tool-known-to-be-present)的数据比较。参考图像信号能够仅与特定的工具相关，而不是与工具抽屉相关。可以为每个工具独立地产生参考图像信号，并将参考图像信号存储在粮库中。这通常通过捕获放置有工具的工具切除部的图像和捕获未放置有工具的工具切除部的图像来完成。仅工具和工具切除部的图像被处理，以提取用于存在工具的全部限定状态的参考图像信号。参考图像信号能够从数据库提取并且整合在库存管理系统中，从而不再需要实际泊工具抽屉的参考图像。另外，能够不再需要捕获图像来产生参考图像信号。泡沫、工具切除部及相关的工具的比如颜色和尺寸的已知参数被手工使用或者在程序中使用以产生限定用于工具切除部和工具的参考图像信号的图像属性。 
基于捕获的图像中的ROI的图像信号和参考图像信号判定与ROI相关的库存状态。 
在工具在预设的百分比公差内不存在时，如果工具切除部ROI的图像信号与参考图像信号一致，则判定工具从ROI缺失，由此判定工具被发料或者在使用中。另一方面，在工具在预设的百分比公差内存在时，如果工具切除部ROI的图像信号与参考图像信号一致，则判定ROI中存在工具。用于判定工具存在或者缺失的百分比公差是可调节的。可以根据设计优选项从经验的角度选择合适的值。 
膨胀区ROI的图像信号与膨胀区ROI所对应的参考图像信号的比较能够用于判定工具存在或者缺失之外的状态。例如，如果工具未正确地放置在其相应的切除部中或者错误的工具被放置在工具切除部中，则一部分工具会置于切除部之外和被置于膨胀区。另外，比如车间破布(shop rag)或者额外的工具的不期望的物品会被置于抽屉中， 并且成为工具切除部的膨胀区的拥塞部分。膨胀区ROI的标记将不会与其参考图像信号一致，并且系统会判定在收纳抽屉中存在未知状态。在本示例中，会产生报警，指示相关的收纳单元应进行手工检查以校正异常。 
如果ROI的图像信号在预设的百分比公差内不与任一参考图像信号一致，则判定已经发生错误或异常，并通过PC或者装置的GUI系统向用户或者系统管理员发出警报。错误警报是关于错误的工具、误放的工具、多个ROI间的未知物品等。在一个实施方式中，工具切除部ROI中的物品的图像信号可以与抽屉中的和收纳舱中的全部工具的数据库或者总体上已知的数据库比较。根据该比较，能够判定工具切除部中收纳的特定的工具并报告给库存系统。在更宽的范围上，本项技术能够用以识别抽屉中的全部工具，而不用知道抽屉中应该有哪种工具或者工具应该被置于什么位置。 
在一个实施方式中，各图像信号被形成矢量。在已知工具不存在时，计算与捕获图像对应的ROI的图像信号与参考图像信号之间的相似性。例如，可以基于通过已知方式计算的两个矢量之间的距离判定相似性。另外，在已知工具存在时，计算与捕获图像对应的ROI的图像信号与同一物品的参考图像信号的相似性。如果已知工具不存在时的在与捕获图像对应的ROI的图像信号与参考图像信号之间的相似性，比已知工具存在时的在与捕获图像对应的ROI的图像信号与同一物品的参考图像信号的相似性大，则判定工具不存在。反之，则判定工具存在。 
在另一个实施方式中，在ROI的与捕获图像对应的图像信号中的每个顶部最稠密像素组分别与已知工具存在时的同一物品的参考图像信号和已知工具不存在百的同一物品的参考图像信号比较。根据标记一致和百分比判定GOF(拟合度)值。例如，GOF值可以定义为与图像信号中的各条目(entry)对应的min(percentage_of_captured_ROI，percentage_of_reference)的累加。累加的百分比然后与阈值比较。如果关于工具存在时的参考标记的GOF值在阈值以上，则判定工具存在。如果关于工具不存在时的参考标记的GOF值在阈值以上，则判定工具不存在。如果关于工具存在时的参考标记的GOF值在阈值以上，并且关于工具不存在时的参考标记的GOF值在阈值以下，则归类为异 常状态，将激发或者设置(lodge)报警信号。这样的异常状态可能由工具悬出、切除部变形、或者切除部中被放置错误的工具而造成。 
偶然地，工具的属性的显著部分会与背景的属性一致，使得难以检测到存在或者缺失。在这些情况中，物品可以分割为多个ROI。具有与背景一致的ROI属性的区域将被忽略，将仅评估具有与背景的属性不同的ROI属性的那些区域。 
与每个库存物品对应的图像参考标记的查找表可以在制造过程中生成，并被预加载到工具收纳系统中。在系统设置中，完全的参考图像信号数据库能够与ROI、部件数目和说明、及工具数据库中的其它数据一起被加载到每个系统中。 
根据本发明的示例性工具收纳系统的另一个特性在于自动物品添加/删除。该特性是如下的处理，系统被构造成识别新的工具并将新的工具添加到数据库或者从数据库中移除不再需要的或者不再有用的工具。 
用以生成泡沫切除部和参考数据使用的同类型的数据文件被用于对现有抽屉布局的修改，以添加或者删除工具。然后，文件被加载到系统的存储器，泡沫被改变。系统自动识别数据库中有新的工具(或者从数据库中移除了新的工具)，特定的收纳单元或者切除部现在处于原状(或者被移除)。 
已经确定，与图像对应的ROI的精确位置及其相关联的在泡沫中的工具切除部相对于在工具变换和加载文件中计算的位置可以微小变化。为补偿实际位置与计算位置之间的可能的差异，在泡沫层中设置孔作为位置校验部(postion check)。这些孔位置与抽屉轨迹和定位带相关，并且可用以确认抽屉泡沫中的ROI和工具切除部的实际位置。 
根据本发明的另一个实施方式利用特别设计的标识符，用于判定物品的库存状态。依赖于收纳单元是否由物品所占据，相关联的标识符以两种不同方式中的一种方式出现在图像感应装置捕获的图像中。例如，标识符在关联的收纳单元被工具占据时以第一颜色出现，而在关联的收纳单元未被占据时以第二颜色出现。所述标识符可以是文本、一维或者二维的条码、图案、点、代码、符号、图像、数字、LEDs、光、标记等，或者是它们的任意组合。标识符出现在图像感应装置所 捕获的图像中的不同方式包括具有不同图案、亮度、形式、形状、颜色等的图像。基于各标识符出现在所捕获的图像中的方式，数据处理器确定物品的库存状态。 
图6a示出了标识符设计的一个实施方式。如图6a中所示，收纳单元511被指定成收纳工具510，而收纳单元52当前由其指定的工具520占据。收纳单元53未由其指定的工具占据。各收纳单元51、52、53具有相关联的标识符。依赖于各收纳单元51-53是否由相应的工具占据，各标识符以两种不同方式中的一种方式出现在照相机310捕获的图像中。例如，各标识符在相应的工具被收纳在各自的收纳单元时对于照相机310不可见，而当物品未收纳在各自的收纳单元时对于照相机310可见。类似地，一种不同的实施方式可以具有如下的标识符，所述标识符在物品收纳在各自的收纳单元时对于图像感应装置可见，而当物品未收纳在各自的收纳单元时对于图像感应装置不可见。 
例如，收纳单元51-53的底部包括由返回型反射材料(retro-reflective material)制成的标识符。由于收纳单元51和53未由它们各自指定的工具占据，它们相关联的标识符511和513对于图像感应装置可见。另一方面，收纳单元52由其指定的工具占据，其标识符对于图像感应装置不可见。当特定的工具收纳在收纳单元中时，阻挡图像感应装置看到标识，使得标识符对于图像感应装置不可见。另一方面，如果收纳单元未由特定的工具占据，则标识符对于图像感应装置可见并且表现为抽屉的图像中的高亮度区域。因此，高亮度区域表示缺失的工具。系统300检测缺失工具的位置，并且使空的位置与存储的用于标识各收纳单元与它们的相应的工具的关系相关。系统300确定哪个工具不在它们在抽屉中的特定区位。应理解，所述标识符可以在许多不同的方式实现。例如，所述标识符可以设计成在收纳单元被占据时生成高亮度图像，或者在收纳区域被占据时生成低亮度图像。 
在一个实施方式中，各标识符利用接触型传感器和LED实现。如图6b所示，收纳单元61被关联于接触型传感器62和LED 63。当接触型传感器61感应到工具处于区位61时，接触型传感器61产生信号并控制关闭对LED 63的供电。另一方面，如果接触型传感器62检测到工具未处于收纳单元61中时，接触型传感器62产生控制信号，控 制打开LED 63，这样在图像感应装置捕获的图像中产生高亮度区域。图像中的各高亮度区域标识不具有相关联的工具的收纳单元。系统300通过确定哪些收纳单元未被工具占据及标识所述区位的相应的工具的预存信息来识别移除的或者缺失的工具。在另一个实施方式中，标识符对于收纳在各自的收纳单元中的预设工具是唯一的。通过评估在图像感应装置捕获的收纳单元的图像中是否存在至少一个可视标识符及各预设物品与对于各预设物品唯一的各个标识符之间的关系，数据处理器被构造成用于确定库存状态。 
在另一个实施方式中，与收纳单元关联的标识符在收纳单元被占据时生成高亮度图像，并且在收纳单元未被占据时生成低亮度图像。系统300基于所检测的标识符与预存的标识各收纳单元和相应的预设物品之间的关系的预存信息确定存在哪种工具。在另一个实施方式中，标识对于收纳在各自的收纳单元中的预先定义的物品是唯一的。通过评估在图像感应装置捕获的收纳单元的图像中是否存在标识符及各预设物品与对于各预设物品唯一的各个标识符之间的关系，系统300来确定现有物品的库存状态。 
在又一个实施方式中，收纳在系统300中的各物品包括所附着的对于各物品唯一的标识符。数据处理器存取标识收纳在系统中的各工具的预存信息以及标识各物品与对于各预设物品唯一的各个标识符之间的关系的已知信息。数据处理器通过评估在图像感应装置捕获的收纳单元的图像中是否存在标识符及各预设物品与对于各预设物品唯一的各个标识符之间的关系来确定物品的库存状态。例如，系统300存储收纳在系统中的工具及它们相应的标识符的列表。在照相机310捕获了收纳抽屉的图像后，数据处理器确定图像中的标识符。通过比较出现在图像中的标识符与工具和它们相应的唯一标识符的列表，数据处理器确定哪些工具在系统中，和哪些工具不在系统中。 
如早先所讨论过的，与收纳单元关联的标识符可用以确定哪些区位缺失了物品。根据一个实施方式，系统300并不需要知道各收纳单元与相应的物品之间的关系。而是，各标识对于收纳在收纳单元中的相应物品是唯一的。系统300的数据处理器存取用于标识各标识符与相应的物品之间的关系的预存信息、用于标识各物品的信息。换句话说，系统300存取系统300中收纳的各物品与其相应的唯一标识符的 列表。当系统300检测到空的工具收纳单元时，相应的标识符被从图像中提取出，并由系统软件解码。由于各标识对于相应的物品是唯一的，收纳系统300能够通过检测各标识符与相应的物品之间的关系、及物品的库存列表而确定哪些物品缺失。对于收纳在收纳单元中的物品唯一的标识符可以邻近收纳单元布置，或者布置在收纳单元中。在一个实施方式中，标识符被布置成邻近收纳单元，并且不管所述区位是否被物品占据总是对于图像感应装置可见。在另一个实施方式中，当标识符被布置在相应的区位中时，标识符在所述区位被物品占据时对于图像感应装置不可见，而在所述区位未被物品占据时对于图像感应装置可见。 
本发明的一个实施方式利用基线图像与对于物品唯一的标识符的组合来确定库存状态。例如，基线图像可以包括其中全部的收纳单元被它们各自相应的物品占据的收纳抽屉的信息，其中各收纳单元与对于收纳在收纳单元中的物品唯一的标识符相关联。通过比较所述收纳单元的各图像和基线图像确定库存状态，从而确定哪些区位被物品占据和/或哪些区位缺失了物品。通过识别与缺失了物品的各收纳单元相关联的标识符确定缺失物品的识别。 
本发明的另一个实施方式利用标识符的唯一的组合来确定库存状态。例如，各收纳单元可以具有布置在区位中的第一类型的标识符和对于收纳在收纳单元中的物品唯一的并且邻接于所述收纳单元布置的第二类型的标识符。第一类型的标识符在所述区位未被物品占据时对于图像感应装置可见，而在所述区位被物品占据时对于图像感应装置不可见。第一类型的标识符可以由返回型反射材料制成。如果收纳单元未由与收纳单元对应的物品占据，则第一类型的标识符对于图像感应装置可见，并且表现为高亮度区域。因此，各高亮度区域表示缺失的物品，这使得系统300能够确定哪些区位缺失了物品。基于与这些缺失了物品的区位相关联的第二类型的标识符，系统300识别哪些物品从系统300中缺失。结果，确定了系统300的库存状态。 
根据再一个实施方式，收纳系统300使用图像识别法来识别从系统300中缺失的物品。系统300存取用于标识哪些工具收纳在各抽屉或者收纳在系统300中的库存列表。但是，系统300不必须知道工具的存储位置。工具被置于对于各工具特定的泡沫切除位置处。使用比 如大小、形状、颜色的特性和其它参数，图像识别软件识别抽屉中的各工具。缺失工具即仅是库存列表中的、未被识别出在抽屉中的工具。 
系统300记录与各次存取相关的存取信息。存取信息包括时间、与存取相关的用户信息、持续时间、用户图像、收纳单元的图像、收纳系统的收纳单元或内容物、收纳系统中的物品等或者它们的组合。在一个实施方式中，系统300包括用户照相机，所述用户照相机在每次用户被授权存取时捕获并存储存取收纳系统300的人员的图像。对于用户的各次存取，系统300确定库存状态并且生成包括将所确定的库存状态与存取信息相关联的报告。 
定时图像捕获
本发明的实施方式利用独有的定时机器成像以捕获系统300的图像并根据所捕获的图像确定系统300的库存状态。在一个实施方式中，系统300基于抽屉位置和/或移动激发或者定时对收纳抽屉成像，以生成有用并且有效的图像。例如，系统300的数据处理器使用抽屉位置来确定何时如参考图4a至图4e所讨论地叠加的局部图像，以确保完全地覆盖正由用户存取的抽屉。在另一个示例中，抽屉位置信息对于组合软件构建完整的抽屉图像是有用的。抽屉图像信息可用以帮助确定抽屉中的切除部的位置。 
在一个实施方式中，系统300的数据处理器控制图像感应装置以基于抽屉的预定的移动方式形成抽屉的图像。例如，对于各次存取，系统300仅在抽屉在以特定的方式或者沿预定的方向移动时获取抽屉的图像。根据一个实施方式，图像感应装置在抽屉沿允许减小对于其内容物的存取的方向移动时或者在抽屉在允许减小对其内容物的存取的方向上停止移动之后获取图像。例如，可以控制照相机在用户闭合抽屉时、在抽屉停止在闭合方向上移动时或者之后、或者在抽屉完全闭合时获取抽屉的图片。在一个实施方式中，在抽屉沿允许扩大对于其内容物的存取的方向移动时，比如当抽屉从闭合位置向打开位置移动时，不获取图像。 
可以用测量位置的传感器或者用移动传感器确定各收纳抽屉的相对于时间的位置、移动和移动方向。例如，相对于两点的随时间的位置信息可用以得出标识移动方向的矢量。 
用于检测收纳抽屉的位置、移动或移动方向的传感器的示例包括安装到抽屉、用以检测其相对于系统300的框架的位置的传感器或者解码器等；非接触型距离测量传感器用于确定对于系统300的框架上的一些位置的抽屉移动，比如相对于系统300的背部的抽屉移动。非接触型传感器可以包括光学传感器或者超声传感器。可以在各抽屉中包括对于照相机310可见的可视刻度(scale)或标记，使得照相机210能够读取所述刻度以确定抽屉位置。 
在当前存取中发生的比如工具移除的库存状态的变化，可以通过比较当前存取的库存状态与紧接当前存取之前的存取的库存状态来确定。如果缺失了一个或多个物品，系统300会向用户产生报警信号，比如音频或者视频报警信号，并通知联接到系统300的远程服务器等。 
在另一个实施方式中，图像感应装置被构造为在收纳抽屉330在允许扩大对于其内容物的存取的方向上移动时和在随后的收纳抽屉330在允许减小对其内容物的存取的方向上移动时均形成收纳单元的图像。例如，当用户打开抽屉330以取出工具时，抽屉330的移动方向激发照相机310以在抽屉330移动时捕获抽屉的图像。所捕获的图像可以指定为表示用户存取各收纳抽屉的内容物之前的状态的“存取前”图像。基于所捕获的图像确定库存状态。认为该库存状态是“存取前”库存状态。照相机310在抽屉330停止移动时停止捕获图像。当用户闭合抽屉330时，抽屉330的移动方向激发照相机310以再次捕获抽屉330的图像，直到抽屉330停止或者到达闭合位置。基于用户闭合抽屉330时捕获的图像确定抽屉的库存状态。所确定的库存状态被指定为“存取后”库存状态。存取前库存状态与存取后库存状态之间的差异标识工具的移除或者替换。本发明的其它实施方式控制照相机以在打开收纳抽屉之前、或者在收纳抽屉被完全打开之后或者当用户能够存取所述抽屉的内容物时获取“存取前”图像。根据另一个实施方式，图像感应装置在检测到用户进行的存取结束时定时获取各抽屉330的图像。如本发明中所使用的，结束存取定义为：用户不再存取任何的收纳单元，比如当抽屉330被闭合或者锁定时，当门250闭合或者锁定时等；或者是用户或系统指示不再需要存取收纳系统，比如当用户停止时，在不活动之后经过预定的时间段时，当用户或者系统300锁定锁定装置时等。对于各次存取，用位置检测器或者接触 型传感器确定抽屉330是否闭合。在抽屉被闭合之后，图像感应装置捕获抽屉330的图像。然后，数据处理系统基于所捕获的一幅或多幅图像确定库存状态。可以通过比较所确定的当前存取的库存状态与先前存取的库存状态而确定库存状态的差异。 
根据另一个实施方式，如前所述，针对各次存取，图像感应系统300定时捕获抽屉300的至少两个图像：在用户存取抽屉300之前捕获的至少一个图像(初始图像)；和存取结束之后捕获的至少一个图像。初始图像可以在用户存取抽屉中的内容物或者收纳单元之前的任何时间获取。在一个实施方式中，初始图像在用户请求存取系统300时或者存取系统300之后比如通过刷钥匙卡、输入密码、将钥匙插入锁定装置、提供授权信息等捕获。在另一个实施方式中，在检测到抽屉从闭合位置的移动或者检测到系统300的锁定装置的解锁之前或者响应于这些检测而捕获初始图像。 
系统300的数据处理系统基于初始图像确定库存状态，并且将确定的库存状态划分为“存取前”库存状态；和基于存取结束之后捕获的并被指定为作为确定的“存取后”库存状态的图像确定库存状态。可以基于对“存取前”库存状态与“存取后”库存状态的比较或者基于初始图像与存取结束后捕获的图像的比较确定系统300中的物品的库存状态的变化。 
上述的构思和设计可应用于其它类型的收纳系统，比如应用于图1B中所示的类型的收纳系统，其中单个门控制对于多个搁板或抽屉的存取。在一个实施方式中，图像感应装置可以被定时为在检测到存取结束时或者在检测到存取结束之后捕获收纳单元的图像，所述存取结束比如是闭合门250、锁定门250、指示结束等。应理解，比如接触型传感器、红外传感器的各种类型的传感器可用以确定门被闭合的时刻。与先前的讨论类似，图像感应装置捕获收纳单元的图像，并基于捕获的图像确定“存取后”库存状态。通过比较当前存取的库存状态与上次存取的库存状态确定与存取相关的库存状态的变化。根据另一个实施方式，图像感应装置被定时为在用户存取收纳系统之前获取收纳单元的“存取前”图像。例如，照相机可以定时为在用户请求存取所述系统之后、在检测到门250的打开之后、在接收到来自用户的授权信息之后等捕获收纳单元的图像。收纳系统基于所述“存取前”图像确 定“存取前”库存状态。根据“存取前”库存状态与“存取后”库存状态之间的差异、或者根据“存取前”图像与“存取后”图像之间的差异确定库存状态的变化。 
图像校准
如前所述，可以使用多个照相机来捕获抽屉的部分图像(partial image)。然后，这样的图像被组合在一起，以形成抽屉的完整图像用于进一步处理。因此，为了组合图像，重要的是了解部分图像之间的相对位置关系，从而能够适当地组合部分图像。另外，只要整个ROI在部分图像内，可以基于部分图像处理ROI的图像。在这样的情况中，对于工具收纳系统重要的是知道从部分图像中定位ROI的正确位置，特别是部分图像在图像的捕获过程中可能会失真、扭曲或者歪斜。 
本发明的实施方式提供了各抽屉中的已知并且不可重复的参考图案。例如，如图6a所示，抽屉在其两侧设置有两个可视的不可重复的刻度A、B、C…S。抽屉中的刻度的相对位置的信息是已知的并且存储在系统中。在捕获图像的任意给定时刻，两个刻度的图案通常必须出现在捕获图像中。能够使用仅一个照相机或者多个照相机来捕获图像。由于抽屉变宽，能够使用具有更短焦距的相机。但是，这样的具有更短的焦距的照相机会降低图像的解析度(resolution)。作为可选方案，能够使用独立的或者成角度的照相机来获取所述期望的抽屉宽度和解析度。可以使用一个或多个专用于观察刻度图案的照相机，或者用同一个照相机来观察全部的或者部分的抽屉内容物。 
如图6b所示，获得图6a中所示的抽屉的部分图像。图6b中示出的部分图像内的任意ROI(关注区域)可以通过对已知泡沫尺寸内的已知工具切除部参考位置信息的插值和刻度信息的图像判定。根据图6b中的可视刻度，易于识别出部分图像在图6a中所示的整幅抽屉图像中的位置。通过已知部分图像相对于整个抽屉的位置，所述部分图像能够适当地与其它部分图像组合在一起。 
另外，图6b中所示的部分图像中的a∶b∶c的比率与图6a中所示的存储的切除部文件信息中的x∶y∶c的比率相同。根据该已知的比率，能够判定任意ROI相对应于图6b中的部分图像的位置。 
另外，通过能够由照相机通常在任意给定时刻捕获的两个或更多 个参考图案或者刻度，即使图像的透视图发生变化，使用捕获图像中的参考图案或者刻度的相对位置和抽屉的已知关系，可以对失真图像重设比例、转动或者调节以将失真图像转换回符合已知的关系。例如，如果图6b中的两个刻度的距离减小，则系统能够通过计算捕获图像中的刻度之间的距离与系统中存储的已知距离之间的比率来确定扩展系数。然后，该扩展系数被施加到捕获图像，以将图像转换回正常图像。 
另外，通过已知每个部分图像相对于整个抽屉的位置，能够判定抽屉的移动速度。例如，如图6c中所示，捕获部分图像1和部分图像2。如先前所述讨论的，基于刻度的图像，通过参考存储在系统中的参考数据，系统能够判定部分图像相对于整个抽屉的位置。由于现在已知部分图像1和部分图像2的位置信息，能够判定部分图像1和部分图像2之间的位移(距离A)。行程时间t是能够由照相机获取的两个捕获图像之间的时间。因此，抽屉的行进速度为v＝A/t。 
抽屉的移动速度可由系统使用，以对抽屉的成像进行定时。根据速度测量结果，系统可以预期进行下次拍摄图像的时间。例如，如果抽屉的速度为5”/秒，而系统的照相机的图像覆盖率为2”，则系统能够判定将需要以2/5秒获取下一个图像以实现图像之间无重叠或者无间隙。而以1/5秒来获取下一个图像将在连续的图像之间产生1”的重叠。行进抽屉的加速度能够通过抽屉速度的微分来判定，并且追踪抽屉的加速度以进一步预期获取下一幅图像的时刻。基于速度和加速度的信息，通过适当地对抽屉的成像进行定时而不捕获不必要的图像，系统能够保存电池运行的能量和/或加速系统的性能。 
如果抽屉被扭曲和/或移动离开照相机，则如图6d所示，透视图像将会转动和失真(歪斜)。这样的失真可以基于捕获的刻度图像和刻度在抽屉中的已知位置关系的比较检测到。对于失真图像的校正可以通过调节或转动捕获图像实现，以使捕获的刻度图像正确地根据所存储的刻度的参考数据的刻度的正确位置重叠(见图6e)。应理解，具有充分的二维特性的任意参考图案可用于以类似的方式校正图像歪斜或者图像失真，比如具有足够宽度的参考图案。不管什么时间发生歪斜或者失真，参考图案的二维特性将与存储在系统中的参考数据的特性不同。失真图像的校正可以通过调节或转动捕获图像以使捕获图案图像能够与存储的参考数据一致而实现。 
根据一个实施方式，示例性系统提供了填充照相机的关注区域的图案，用以校正失真。将图案的图像改变到期望的图案图像所需要的扭曲(distortion)然后被应用于全部的将来的图像。例如，如图7a所示，一种已知的图案，比如由1/2”间隔并且大致平行于照相机基片(chip)被成像的点形成的栅格。现在，光学系统(透镜、镜…)中的全部失真将体现在捕获的栅格图像中。通过使捕获的图像扭曲以使栅格图案的图像成为已知的所期望的1/2”的栅格图案，校正了系统的全部失真。 
现在说明使用已知的参考图案检测和补偿图像失真的详细过程 
1.判定参考图案的质心 
照相机采集包含多个在平面的已知位置处的可识别图像图案的平面的数字图像。在本实施方式中，假定照相机的光轴与平面垂直，数字图像的每个像素具有均在0至255之间的红色值、绿色值和蓝色值。这三个值称为像素的“颜色”值或者“RGB”值。在本实施方式中，已知的图案是均一颜色的圆，周围的背景具有均一的颜色，并且参考图案的颜色不同于周围背景的颜色。 
在本实施方式中，对于数字图像中的每个像素计算平滑值(smoothed value)，然后，为数字图像中的每个平滑像素计算“颜色梯度”。 
用3×3的平滑核(smoothing kernel)计算图像行和列(x，y)处的像素的平滑RGB值： 
1 2 1 
2 4 2 
1 2 1 
如下计算所述平滑RGB值： 
smoothedPixel(x，y)＝ 
(1*rawPixel(x-1，y-1))+(2*rawPixel(x，y-1))+(1* 
rawPixel(x+1，y-1))+ 
(2*rawPixel(x-1，y))+(4*rawPixel(x，y))+(2* 
rawPixel(x+1，y))+ 
(1*rawPixel(x-1，y+1))+(2*rawPixel(x，y+1))+(1* 
rawPixel(x+1，y+1)) 
其中“smoothedPixel(平滑像素)”和“rawPixel(原始像素)”分别是R值、G值或者B值。 
为数字图像中的每个平滑像素使用如下的3×3Sobel(索贝尔)过滤核计算颜色梯度： 
用于X的过滤核： 
-1 0 1 
-2 0 2 
-1 0 1 
用于Y的过滤核： 
-1 -2 -1 
0   0  0 
-1 -2 -1 
如下计算颜色梯度，其中s是“smoothedPixel”： 
gx＝ 
(-1*s(x-1，y-1))+0+(1*s(x+1，y-1))+ 
(-2*s(x-1，y))+0+(2*s(x+1，y))+ 
(-1*s(x-1，y+1))+0+(1*s(x+1，y+1)) 
gy＝ 
(-1*s(x-1，y-1))+(-2*s(x，y-1))+(-1*s+1，y-1))+ 
0+0+0+ 
(1*s(x-1，y+1))+(2*s(x，y+1))+(1*s(x+1，y+1)) 
为R、G和B计算gx和gy，并且像素位置(x，y)处的颜色梯度大小的平方为： 
gradSq(x，y)＝Sum of R，G and B[(gx*gx)+(gy*gy)] 
如果平滑像素的颜色及其相邻像素的颜色接近，则该颜色梯度较小。由于图案颜色不同于周围的背景颜色，在图案与背景的边界处的像素的颜色梯度将较大，由此边界像素会被识别为具有大于适当地定义的阈值的颜色梯度的像素。在本实施方式中，由这样的像素边界包围的、比如尺寸和形状的边界区域参数与期望的图案参数一致的像素区域被识别为可能的一个已知图案。该区域的质心通过将边界区域中的像素的x值或者y值的总和除以边界区域中的像素数目计算出。如果成像系统相对于理想的“针孔照相机”的失真不是非常大，图案质心位置的图案将与平面上的已知图案的质心位置的图案相同，由此通过各个已知的图案可以分别识别出测定的图案。 
2.判定和校正失真 
以KXi和KYi表示图案i的已知位置，以MXi和MYi表示被识别为与图案i一致的区域的质心。 
则： 
mxi＝M*((cos(θ)*KXi)-(sin(θ)*KYi))+DX 
myi＝M*((cos(θ)*KYi)+(sin(θ)*KXi))+DY 
M是放大系数，θ是转角，DX和DY是平移偏移量。M是平面中的图案位置的已知间隔与照相机图案中的相应的图案位置的测量间隔之间的比率，由于(mxi-MXi)2+(myi-MYi)2的和是变量θ、DX和DY的函数，则通过对全部一致的图案的(mxi-MXi)2+(myi-MYi) 2和求取最小二乘法最小值(least-squares minimization)，计算出θ、DX和DY，这里给定已知值组{KXi，KXi}和相应的测量值组{Mxi，MYi}，其中根据已知值组{KXi，KXi}计算出{mxi，myi}组，则mxi近似等于Mxi，myi近似等于Myi。 
然后如下定义图案i的像素位置处的失真(distortion)： 
distortionXi＝MXi-mxi 
distortionYi＝MYi-myi 
然后，通过双线性插值，使用在最接近像素位置的四个图案质心位置{mxi，myi}处的失真(distortionXi，distortionYi)，计算出“理想”图像或者未失真图像中的任意像素位置处的失真。以此，系统计算并表列出每个未失真图像像素位置处的失真校正值(distortionX，distortionY)。一旦为特定的照相机确定表列的失真校正值，则这些校正值可用于该照相机的任意将来获取的图像，以生成非失真的图像。以如下方式计算出这样的非失真图像中的每个像素的颜色值：取得非失真图像中的像素的x，y位置；为非失真图像中的该x，y查询表格中的x，y位置处的像素的失真校正值(distortionX，distortionY)；并从照相机捕获的(失真)图像中的(x+distortionX，y+distortionY)位置处的像素取出颜色值。这些校正能够应用于全部将来的图像。待校正的图像上的没有位于栅格的点上的点能够通过使用最接近的栅格点的均值失真值被校正。
根据另一个实施方式，本发明的示例性工具收纳系统利用相互之间有预定的位置关系的已知图案或者延伸过至少两个照相机的已知图案来测量照相机之间的相对照相机位置(RCP)，并使用该RCP将由至少两个照相机捕获的将来的图像组合在一起。 
现在来说明判定两个照相机之间的RCP的过程。两个照相机相对于彼此具有固定的物理位置和机械位置，每个照相机获取平面的一部分的数字图像，其中平面包含在所述平面的已知位置处的多个可识别图像图案。使用先前说明的关于确定和校正失真的技术，校正图像失真。然后通过在判定图案质心的部分中说明的技术判定这些已知图案的质心。比如特定图案的质心的、对于两个照相机的视场可视的点将投影到第一照相机的校正(非失真)图像的位置(x1，y1)，并且将投影到第二照相机的校正(非失真)图像的位置(x2，y2)。假定两个照相机的光轴平行，它们的倍率相同。 
然后，通过如下的变换使(x1，y1)和(x2，y2)相关： 
x2′＝(cos (θ)＊x1)-(sin(θ)／y1)+dx 
y2′＝(cos (θ)＊y1)+(sin(θ)＊x1)+dy 
其中θ为转角，dx和dy是平移偏移量，由于(x2i’-x2i)2+(y2i’-y2i)2的和是变量θ、dx和dy的函数，则通过对两个照相机的视场中可视的全部图案i的(x2i’-x2i)2+(y2i’-y2i)2的和求取最小二乘法最小值，计算出θ、dx和dy，这里给定值组{x1i，y1i}和相应的值组{x2i，y2i}，其中根据已知值组{x1i，y1i}计算出{x2i’，y2i’}组，则x2i’近似等于x2i，y2i’近似等于y2i。然后，参数θ、dx和dy定义与一对照相机相关的RCP变换。 
逆变换为： 
x1＝(cos(θI)＊x2)-(sin(θI)＊y2)+dxI 
y1＝(cos(θI)＊y2)+(sin(θI)＊x2)+dyI 
其中： 
θI＝-θ 
dxI＝-((cos(θI)*dx)-(sin(θI)*dy)) 
dyI＝-((cos(θI)*dy)+(sin(θI)*dx)) 
由此，对于平面上的在两个照相机视场中可视的任意点通过该变换而相关，其中所述可视的任意点投影到第一照相机的校正(非失真)图像的位置(x1，y1)，并且投影到第二照相机的校正(非失真)图像的位置(x2，y2)。通过该变换使(x1，y1)和(x2，y2)相关。 
另外，在使平面上的尺寸与照相机图像中的像素相关的刻度系数内，平面(xp，yp)上的任意点可以通过相同数学形式的变换而与(x1，y1)相关或者与(x2，y2)相关。 
同样，给定具有参数{θ12，dx12，dy1}的、使第一面(x1，y1)中的点与第二面(x2，y2)中的点相关的具有相同数学形式的变换，和具有参数{θ23，dx23，dy23}的、使第二面(x2，y2)中的点与第三面(x3，y3)中的点相关的具有相同数学形式的变换，则如下给出使第一面(x1，y1)中的点与第三面(x3，y3)中的点相关的具有相同数学形式的变换： 
θ13＝θ12+θ23 
dx13＝(cos(θ23)*dx12)-(sin(θ23)*dy12)+dx23 
dy13＝(cos(θ23)*dy12)+(sin(θ23)*dx12)+dy23 
如图7b所示，设置跨过全部照相机的视场的靶标(target)或者靶标的矩阵。靶标的一部分或者靶标矩阵中的靶标能够由每个照相机观察到。已知靶标相对于彼此的位置，能够测定照相机相对于彼此的位置(图7c)。使用相对的照相机的位置生成各照相机的X和Y和转动的偏移，以组合成一个单幅图像(见图7d)。 
成像设置控制
如果成像子系统的图像感应装置要求照明以获得可以接受的图像品质，则可以设置照明装置。例如，可以用LED照明待由图像感应装置成像的区域。应理解，可以使用若干类型的照明源。例如，围绕图像感应装置的镜头或者图像传感器设置LED。LED发出的光沿与照相机视场相同的路径传输。在另一个实施方式中，使用比如镜的光重定向装置将照明源发出的光定向朝向靶标区域，比如待成像的抽屉。照明的定时和亮度由控制照相机及其曝光的同一处理器控制。在照相机 的一些可能的构造中，期望实现背景去除(background subtraction)以增强图像。背景去除是用以从图像中移除不期望的静态元素的为人所熟知的图像处理技术。首先关闭照明以捕获图像。接着，打开照明以捕获第二图像。通过从照明打开图像中去除照明关闭图像而生成最终图像。由此，从结果生成的图像中移除未由照明显著地增强的图像元素。 
为适当地将具有变化的距离的抽屉成像到照相机，在捕获图像和/或处理捕获后的图像中需要使用适当的设置。这些设置包括照明亮度、照相机曝光时间、包括用于图像传感器阵列中的每个彩色滤波器的各个参数的颜色增益、光圈构造、光圈大小、快门速度、光圈级数(f stop)、捕获后的图像处理所用的阈值等。另外，照明和曝光之外的成像参数对于不同抽屉可以不同，并且应该在成像处理过程中解决(address)。这些额外的参数和考虑包括例如在照相机视场内成像所用的关注区的位置和大小；ROI是否被冗余成像，使得特定的照相机能够被关闭(shut down)或者断电(turn off)，以节约电能；和ROI上的视差效应(effects of parallax)。 
传统的成像技术通常基于实时检测从照相机至靶标物体的距离而判定所需要的设置。但是，这样的实时计算需要高速并且强大的处理器，这增加系统了成本。本发明提供了独有的算法，所述算法根本上减小了对于系统的计算负荷，并且显著地加速了计算过程。 
根据本发明的示例性工具收纳系统预存的参考数据包括：从每个各自的抽屉到每个照相机的距离；所需要的根据每个各自的抽屉的识别的参数设置；和不同的环境光照条件。该参考数据可以在制造工具收纳系统期间生成。测定并记录从每个相应的照相机到每个相应抽屉之间的距离。通过标准部件为每个所记录的距离判定不同照明条件下的理想成像参数，并存储在查找表中。查找表还存储与每个各自的抽屉对应的额外的信息，包括：在照相机视场内的成像用关注区域(ROI)的位置和大小；ROI是否被冗余成像而使得特定照相机能够被关闭或者断电以节省电能；及ROI上的视差效应。 
在操作过程中，示例性工具收纳系统判定正被存取的对象抽屉(subject drawer)的一致性及环境的光线状态。根据所判定的抽屉的 一致性和所检测的光线条件，示例性系统读取包括与对象抽屉对应的相对于每个照相机的预存距离信息和根据所检测的照明状态及所述距离的理想成像参数的参考数据。这样的方法使得不需要系统处理器进行复杂的检测和计算来判定相对于对象抽屉的距离及对于抽屉成像所用的适当的成像参数。而是，全部所需要的信息可以从预存查找表读取。因此，适当的参数和/或设置可使用和/或调节以捕获图像或者处理各个抽屉，从而能够获得具有足够质量的图像。在具有多个照相机的系统中，能够使用单个照相机来设置用于全部照相机及照明控制的总的参数。 
示例性系统可以使用各种方法判定正存取的抽屉的身份(identity)。根据一个实施方式，每个抽屉关联于标识符，所述标识符在抽屉进入照相机的视场时对照相机可见。照相机根据所述唯一的标识符判定抽屉的身份。例如，所述标识符可以是对于每个抽屉唯一的图案，比如条码、身份号码、唯一的图案等。标识符可以使用对于全部抽屉相同的但位置对于每个抽屉唯一的图案。还可以使用设置于离开照相机的中心轴线的恒定位置处的同一图案，利用视差来识别靶标。 
在操作过程中，处理抽屉的初始图像以搜索独有的图案，允许系统判定靶标在视场中或者而判定到靶标的实际距离。这样允许系统判定哪一个先前计算的照明和曝光设置可用于后续的图像。识别图案可以是对于每个靶标距离分别唯一的图像图案，或者可以是图案的大小和位置允许判定靶标距离的共用图案。识别图案被设计成对于照相机呈现高对比度图像，所述高对比度图像能够在宽范围的照明和曝光控制下被解码。例如，可以使用白色背景的黑圆图案。根据再一个实施方式，每个抽屉设置有两个参考图案，所述两个参考图案具有已知的位置关系，比如具有已知的距离。由于抽屉逐渐地进一步远离照相机，抽屉的图像和在参考图案之间的距离也变得小。在参考图案之间的不同距离和抽屉的相应身份的查询表存储在系统中。当捕获抽屉的图像时，系统使用参考图案之间的距离(单位：像素)及查询表来判定打开了哪个抽屉。 
在另一个实施方式中，每个抽屉关联于用于检测每个抽屉的移动的移动传感器、接触型传感器或者位置检测器。示例性系统通过判定 哪个传感器或者检测器正由移动的抽屉激活或者基于所激活的传感器或者检测器传输的信号判定要求成像的抽屉的身份。 
示例性工具收纳系统使用独有的方法进行颜色校正和/或调节色彩增益。每个抽屉设置有具有预设颜色属性的“颜色编码”区。颜色编码区可以是比如如下区域的任意区域：采用已知颜色的背景、采用已知颜色的泡沫、具有已知颜色的标签(sticker)等。与预设颜色属性相关的信息存储在系统中的非易性存储器中。 
在初始状态下对颜色编码区成像。从照相机传感器以称为“原始(raw)”或者“原始拜耳(raw bayer)”格式获取所述图像。采用原始格式的传感器数据能够用对于本领域技术人员熟知的数学变换转换到各种颜色空间，比如HIS(亮度、色调和饱和度)颜色空间，以允许提取在初始状态下获取的图像的属性。该变换的结果可以通过使用任意数目的统计平均法进行改进。基于捕获的颜色编码区的颜色属性与预设颜色属性之间的差产生颜色偏差值。根据所述偏差值，系统判定任意的照相机设置是否应该调节以实现适当的图像质量，比如颜色增益、曝光等。在一个实施方式中，这样的调节被施加到全部后续的图像。根据另一个实施方式，系统如上面针对每个各自的图像所讨论的那样进行颜色校正。 
根据另一个实施方式，颜色编码区的初始图像被存储作为基线图像信息。颜色编码区的全部后续图像与该基线图像比较以判定偏移。然后，系统根据计算出的偏移判定任意的照相机设置应调节以匹配基线信息，比如颜色增益、曝光等。例如，对于每个属性，在基线信息与后续图像之间的差可以被计算并与预设的阈值比较。如果所述差超过了阈值，则系统继续调节后续的图像。否则，不对图像进行调节。如先前所述讨论的，能够在由图像感应装置取得图像时或者在图像感应装置获取图像之后将图像应用于捕获图像时，进行调节。 
调节图像的属性技术是人所熟知的，将不再重复。例如，能够通过变化颜色之间的增益比来调节色调。如果白色区域看起来象是亮蓝，则蓝色检测器增益将被减小以使该区域看起来为白色。为调节颜色增益和曝光，照相机对四个拜耳型(Bayer pattern)过滤器设置进行分别的增益调节。可以在照相机水平上在各种过滤元件之间调节增益比。 曝光能够如下调节：在采集或者成像期间改变图像的曝光时间；应用图像增益作为后处理步骤；或者增加照明硬件的光输出。颜色的亮度与全部颜色过滤器返回的总的光有关。如果给定的亮度低于理想值，则能够增加全部的增益，能够增加照相机曝光时间，或者照明能够设置到更高的水平。饱和度涉及给定颜色的明度(brilliance)。同样，能够调节曝光和增益以使理想水平与实际水平一致。 
联网收纳系统
本公开中说明的收纳系统可以链接到监测中心的远程服务器，这样各收纳系统中的库存状态被定时更新和报告给服务器。如图9中所示，服务器802经由无线网络联接到多个收纳系统800。服务器802可以包括数据库服务器，比如微软结构化查询语言服务器(Microsoft SQL server)。在数据库中存储与授权、授权用户、库存状态、监测轨迹等相关的信息。 
在一个实施方式中，各收纳系统800设置有数据收发器，比如服务器802.11g或者以太网模块。以太网模块直接连接到网络，而服务器802.11g可以通过802.11g路由器连接到网络。这些网络模块中的各模块将被赋予静态IP地址或者动态IP地址。在一个实施方式中，收纳系统800通过数据接收器周期性地登录到服务器，以下载关于授权用户、不同用户或者不同钥匙卡的授权等级、相关收纳系统等的信息。收纳系统800还将比如库存状态、抽屉图像、工具使用、存取记录的与系统相关的信息、用户存取收纳系统800的信息等上传到服务器802。各收纳系统800可以由AC电源供电或者由电池组供电。可以设置不间断电源(UPS)，用于在断电期间供电。 
服务器802允许管理人员或者监测人员审查与每个收纳系统800相关的存取信息，比如库存状态和与对收纳系统800的各次存取相关的信息，例如用户信息、使用持续时间、库存状态、库存状态的变化、抽屉图像或收纳系统的内容物等。在一个实施方式中，服务器802可以与收纳系统800形成实时连接并从收纳系统下载信息。管理人员或者监测人员还可以通过服务器802对各收纳系统上的存取控制装置编程，比如改变口令、授权人员，添加或者删除各收纳系统的授权用户等。用于授权对于各收纳系统800的存取所需的鉴权数据可以由服务 器802编程并更新，并下载到各收纳系统800。鉴权数据可以包括口令、授权人员、添加或删除各收纳系统的授权用户、用户有效性或鉴权算法、加密和/或解密的公开密匙、用户黑名单、用户白名单等。其它的数据更新可以从服务器802传输到各收纳系统，比如软件更新等。类似地，对于收纳系统800进行的任何更改将被上传到服务器802，比如改变口令、添加或者删除授权用户等。 
对于用户提交的各次存取请求，收纳系统通过根据用户经由数据输入装置输入的用户信息和授权数据确定用户授权而对用户授权或者使用户有效。根据授权结果，数据处理器通过控制比如锁定装置的存取控制装置而有选择地授权对于收纳系统的存取，以授权对于收纳系统800的存取或者对于一个或多个收纳系统800的一个或多个收纳抽屉的存取。 
服务器802另外允许管理人员同时对指定组850内的多个收纳系统800编程。管理人员可以选定哪些特定的收纳系统应在组850中。一旦用户被授权存取组850，则用户被授权存取组850内的全部收纳系统。例如，一组收纳用于执行自动服务的工具的收纳系统可以被指定为自动工具组，而另一组收纳用于进行电气工作的工具的收纳系统可以指定为电气工具组。与组连接的服务器802进行的任何设置、调节或者编程自动应用于所述组中的全部工具收纳系统。例如，服务器802可以通过允许自动化技术人员访问所述自动工具组中的全部工具收纳系统而对工具收纳系统编程，但不能对电气工具组中的工具收纳系统编程。在一个实施方式中，各系统800仅包括足够进行操作的最小化的智能。全部其它的数据处理、用户授权、图像处理等由服务器802执行。 
类似地，服务器802还允许管理人员同时对指定组内的多个收纳抽屉330编程。管理人员可以选定同一收纳系统的或者不同收纳系统的哪些特定收纳抽屉应在所述组中。一旦用户被授权存取所述组，则用户可以存取所述组内的全部收纳抽屉。例如，一组收纳用于执行自动服务的工具的收纳系统可以指定为自动工具组，而另一组收纳用于执行电气工作的工具的收纳系统可以指定为电气工具组。 
在另一个实施方式中，图9中所示的示例性联网收纳系统利用分 级授权架构来管理对于收纳系统的存取。向一个或多个收纳系统800提供主收纳系统的状态。各主收纳系统具有一个或多个相关联的从收纳系统。如果用户被授权存取主收纳系统，则同一用户被自动授权存取与所述主系统关联的任意从收纳系统。另一方面，如果用户被授权存取从收纳系统，则对于从系统的授权并不自动授权用户存取与其相关联的主收纳系统或者与同一主收纳系统相关联的其它从收纳系统。 
根据再一个实施方式，如图9中所示的示例性联网收纳系统利用多个分级授权等级授权用户存取。各授权等级与能够由管理人员经由服务器802编程的预定的收纳系统相关联。当用户被赋予特定的授权等级时，该用户被授权存取与所赋予的授权等级相关联的全部收纳系统、以及与所述授权等级中的比所赋予的授权等级低的全部授权等级相关联的全部收纳系统，但未被授权存取与所述授权等级中的比所赋予的授权等级高的授权等级相关联的那些收纳系统。 
监测
根据本发明的示例性库存控制系统追踪与各次存取相关的各类型信息。例如，系统800记录各次存取的日期、时间和/或持续时间，并记录用户提交的用以实现对系统800的存取的相应的用户信息。如先前所述的，系统800在各次存取期间捕获收纳单元的一个或多个图像，以判定库存状态。所述图像被链接于各次存取和存取用户，并且被存储在系统800中。系统800可以在本地存储所述信息或者将所获得的信息经由无线通信网络上传到服务器802，如图9所示。 
服务器802可以处理和编译从各个系统800接收到的信息，而为各服务器802生成监测轨迹(audit trail)。所述监测轨迹可以由具有适当的授权等级的管理人员或者用户访问。可以基于被授权用户的喜好生成或者读取不同类型的监测轨迹。例如，可以针对一个或多个特定日期、一个或多个特定用户、一个或多个特定工具、一个或多个ID等生成监测轨迹。可以由服务器802生成和提供额外的信息或者分析结果。例如，系统802可以追踪特定工具随时间的使用情况，并生成总结各工具的使用频率的报告，以用于评估。这样的报告可用以判定什么工具使用的更为频繁，判定什么工具可能不需要，因为这些工具相比其它工具不经常使用。能够通过恰当的标准存储所述数据，这些 标准比如是日期、用户或者抽屉，允许监测人员在抽屉开闭时观察到抽屉的准确状态。 
如果由于一些异物的干扰或者不管什么原因，未适当地检测到特别的工具，则监测中心802发出警报，并提供抽屉的有问题的特定区域的图像。这通过从成像子系统请求受影响区域的图像来完成。 
根据一个实施方式，系统800通过屏保(screen saver)显示工具收纳系统的状态。系统800的显示器具有定制的屏保，其根据工具控制系统的状态显示采用三种不同颜色中的一种颜色进行显示。如果全部工具放入并且工具箱闭合，则屏保显示绿色跳动符。如果工具当前被取出，而工具箱闭合，则显示黄色跳动符。如果系统当前打开，则显示红色符。 
根据另一个实施方式，系统800的显示器设置有工具收纳系统的图示，其动态更新工具收纳系统800的状态。工具收纳系统800被示出，并且抽屉将反映系统的当前状态。如果抽屉打开，则抽屉将以红色显示在屏幕上。如果抽屉闭合而工具当前被取出，则抽屉显示为黄色。如果抽屉闭合，全部工具存在于抽屉中，则抽屉将清晰地具有黑色轮廓。 
图10a示出了关于特定的收纳系统800的监测轨迹的示例性屏幕。通过与各次存取相关的日期/时间920和用户信息910标识对系统800的各次存取。用户信息可以包括用户在请求对系统800的存取时提交的任意信息，比如指纹、面部识别图像、由用户照相机获取的用户图像、口令、存储在钥匙卡中的信息、任意的授权信息等。在一个实施方式中，每个用户的用户面部特征的数据存储在系统800中或者存储在服务器802中。对于每次存取，存取系统800的用户的图像被用户照相机捕获。收集用户为获得对于系统800的存取而提交的用户信息，比如存储在钥匙卡中的信息和/或口令。捕获的图像与通过用户信息识别的用户的用户面部特征进行比较。系统800或者服务器802判定存取系统800的用户的面部特征是否与用户信息识别的用户的面部特征一致。 
在对于收纳系统800的各次存取期间获取一个或多个图像。图10b示出了在用户存取收纳单元之前或者当抽屉在第一方向上移动时，由 系统800的照相机获取的示例性“存取前”图像，如本发明中先前所说明的。如图10b所示，每个工具被适当地收纳在其相应的收纳单元中。图10c示出在存取结束之后或者当收纳抽屉如前所述地在第二方向上移动时，由系统800的照相机获取的示例性“存取后”图像。如图10c所示，与收纳单元951和952对应的工具遗失。基于图10c所示的图像，系统800判定收纳单元951和952中的工具遗失。产生与遗失的工具和与所述存取相关联的用户相关的监测轨迹。图10d示出了系统800和/或服务器802中存储的示例性记录，其中存储了“存取前”图像981和“存取后”图像982。根据“存取后”图像982标识出遗失的工具并且将其列出在区域980中。 
在先前的说明中，提出了若干特定的细节，比如特定的材料、结构、处理等，以提供对于本发明的透彻理解。但是，如本领域普通技术人员能够理解的，能够不凭借所特别提出的细节来实现本发明。在其它的示例中，未详细说明人所熟知的加工结构，以不会不必要地模糊本发明。 
本公开中仅示出和说明了本发明的说明性实施方式和它们的多用性的示例。应理解，在这里说明的本发明的构思的范围中，本发明能够用在各种其它的组合和环境中并且能够变化或者修改。 

Claims (11)

1.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括：
多个收纳抽屉，各收纳抽屉包括多个用于收纳物品的收纳单元；
包括多个照相机的图像感应装置，所述多个照相机用于捕获所述抽屉的图像并具有不同的视场；
数据存储装置，存储用于各收纳抽屉的参考数据，其中对于与各个收纳抽屉相对应的关注区域，所述参考数据包括：表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号和表示所关注区域不存在收纳的物品时的属性的参考图像信号，
其中，所述参考数据还标识所述多个照相机中的每个相机的视场内的每个抽屉的区域；以及
数据处理器，其被构造成：
判定用户获取的抽屉的识别；
获取标识所述多个照相机中的每个相机的视场内的所述识别的抽屉的区域的参考数据，
使用所述多个照相机捕获由所述用户使用所述多个照相机获取的所述抽屉的图像，
使用所述标识所述多个照相机中的每个相机的视场内所述识别的抽屉的区域的参考数据，判定由所述多个照相机中的每个相机捕获的图像之间的相对位置关系，并基于所述判定的所述图像之间的相对位置关系，将由所述多个照相机捕获的图像组合在一起；以及
使用所述组合在一起的抽屉的图像，导出用于表示与所述抽屉对应的关注区域的属性的图像信号；和
根据所存储的与所关注区域相应的参考数据和所导出的用于表示与所述抽屉对应的关注区域的组合在一起的图像的属性的图像信号判定所述抽屉的库存状态。
2.根据权利要求1所述的系统，其特征在于，基于图像相对于预设图像属性的像素数目分布导出所述图像信号。
3.根据权利要求2所述的系统，其特征在于，所述数据处理器以如下方式产生所述图像信号：
获取包括相对于预设图像属性的像素数目分布的数据；
基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；
基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；
基于所识别的像素组的共同图像属性产生图像信号。
4.根据权利要求1所述的系统，其特征在于：
各收纳单元被构造成收纳预先指定的工具；
各收纳单元与一个或多个预先定义的关注区域相关联；和
所述数据处理器基于与所述收纳单元相关联的各关注区域的所述图像信号和对应于与所述收纳单元相关联的各关注区域的所述参考图像信号的相关性判定各收纳单元的所述预先指定的工具的库存状态。
5.一种在库存控制系统中使用的用于判定收纳在系统中的物品的库存状态的方法，所述系统包括：多个用于收纳物品的收纳抽屉；图像感应装置，所述图像感应装置包括多个用于捕获所述抽屉的图像并具有不同视场的照相机；存储用于各收纳抽屉的参考数据的数据存储装置，其中针对与各个收纳抽屉相对应的关注区域，所述参考数据包括：表示所关注区域存在收纳的物品时的属性的至少一个参考图像信号和表示所关注区域不存在收纳的物品时的属性的参考图像信号；其中，所述参考数据还标识所述多个照相机中的每个相机的视场内每个抽屉的区域；所述方法包括：
判定用户获取的抽屉的识别；
获取标识所述多个照相机中的每个相机的视场内所述识别的抽屉的区域的参考数据，
使用所述多个照相机捕获由所述用户获取的抽屉的图像；
使用所述标识所述多个照相机中的每个相机的视场内的所述的识别的抽屉的区域的参考数据，判定由所述多个照相机中的每个相机捕获的图像之间的相对位置关系，并基于所述判定的图像之间的相对位置关系，将由所述多个照相机捕获的图像组合在一起；
使用所述组合在一起的抽屉的图像，导出表示与所述抽屉对应的关注区域的属性的图像信号；和
根据所存储的与对应于所述抽屉的关注区域对应的参考数据和所导出的表示对应于所述收纳抽屉的关注区域的所述组合在一起的图像的属性的图像信号判定所述抽屉的库存状态。
6.根据权利要求5所述的方法，其特征在于，基于相对于预设图像属性的图像的像素数目分布导出所述图像信号。
7.根据权利要求6所述的方法，其特征在于，通过如下导出所述图像的图像信号：
获取包括相对于预设图像属性的像素数目分布的数据；
基于具有共同图像属性的多个像素识别具有一组共同图像属性的一组像素；
基于具有不同组的共同图像属性的多个像素识别具有不同组的共同图像属性的一组或多组像素；
基于所识别的像素组的共同图像属性产生所述图像信号。
8.根据权利要求5所述的方法，其特征在于，
各收纳抽屉被构造成收纳预先指定的工具；
各收纳抽屉与一个或多个预先定义的关注区域相关联；和
所述方法还包括：基于与所述收纳抽屉相关联的各关注区域的所述图像信号和对应于与所述收纳抽屉相关联的各关注区域的所述参考图像信号的相关性，判定各收纳抽屉的所述预先指定的工具的库存状态。
9.一种用于判定系统中收纳的物品的库存状态的库存控制系统，所述系统包括：
多个收纳抽屉，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；
图像传感器，构造成捕获一个所述收纳抽屉的图像并包括具有不同视场的多个照相机；
数据存储系统，其存储对应于各收纳抽屉的参考数据，其中所述参考数据包括与抽屉中各收纳单元相对应以及与抽屉中各收纳单元存储的物品相对应的一个或多个预先设定的关注区域的信息，
其中，所述参考数据还标识所述多个照相机的每个相机的视场内每个抽屉的区域；以及
数据处理器，其被构造成：
判定用户获取的抽屉的识别；
获取标识所述多个照相机中的每个相机的视场内的所述识别的抽屉的区域的参考数据；
使用所述多个照相机捕获由所述用户获取的抽屉的图像，
使用所述标识所述多个照相机中的每个相机的视场内所述识别的抽屉的区域的参考数据，判定由所述多个照相机中的每个相机捕获的图像之间的相对位置关系，并基于所述判定的图像之间的相对位置关系，将由所述多个照相机捕获的图像组合在一起；
获取所述组合在一起抽屉的图像；
获取与所述抽屉对应的所述参考数据；
基于存储的与所述抽屉对应的所述参考数据和组合在一起的所述收纳抽屉的图像判定所述抽屉的库存状态；
其中，基于生成的所述泡沫层的切除部，从数据文件取得所述参考数据。
10.根据权利要求9所述的系统，其特征在于，所述数据处理器基于生成的所述泡沫层的切除部引入所述数据文件并且从所述数据文件导出所述参考数据。
11.一种在库存控制系统中使用的用于判定系统中收纳的物品的库存状态的参考数据的准备方法，所述系统包括多个收纳抽屉，包括多个照相机的图像传感器，各收纳抽屉包括一个形成用于收纳物品的收纳单元的泡沫层，其中各收纳单元被构造成收纳预先指定的物品并且各收纳单元利用与收纳在所述收纳单元中的物品相对应的所述泡沫层的切除部而形成；所述系统基于捕获的所述各抽屉的图像和所述参考数据判定各个抽屉的库存状态，所述方法包括：
基于生成的各抽屉用的所述泡沫层的切除部从数据库引入数据文件，其中所述数据文件包括所述各抽屉中的各切除部的位置信息；和
根据所引入的数据文件，使用数据处理装置生成用于指定各个抽屉中的各切除部和与各切除部对应的至少一个关注区域的位置信息的数据结构，
其中所述数据结构还标识所述图像传感器的所述多个照相机的每个相机的视场内的所述多个收纳抽屉中的每个收纳抽屉的区域，并存储由所述多个照相机中的每个相机捕获的图像之间的相对位置关系，以使基于所述图像之间的相对位置关系，由所述多个照相机捕获的图像能够组合在一起。
CN200980140153.3A 2008-08-08 2009-08-07 使用先进图像识别的基于图像的库存控制系统 Active CN102177524B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8756508P 2008-08-08 2008-08-08
US61/087,565 2008-08-08
US12/484,138 2009-06-12
US12/484,138 US9147174B2 (en) 2008-08-08 2009-06-12 Image-based inventory control system using advanced image recognition
PCT/US2009/053230 WO2010017531A2 (en) 2008-08-08 2009-08-07 Image-based inventory control system using advanced image recognition

Publications (2)

Publication Number Publication Date
CN102177524A CN102177524A (zh) 2011-09-07
CN102177524B true CN102177524B (zh) 2015-04-08

Family

ID=41664230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980140153.3A Active CN102177524B (zh) 2008-08-08 2009-08-07 使用先进图像识别的基于图像的库存控制系统

Country Status (5)

Country Link
US (2) US9147174B2 (zh)
EP (2) EP2329436B1 (zh)
CN (1) CN102177524B (zh)
ES (1) ES2940228T3 (zh)
WO (1) WO2010017531A2 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044544A1 (en) * 2006-04-24 2011-02-24 PixArt Imaging Incorporation, R.O.C. Method and system for recognizing objects in an image based on characteristics of the objects
US7911453B2 (en) * 2007-06-29 2011-03-22 Microsoft Corporation Creating virtual replicas of physical objects
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US8842183B2 (en) 2008-08-08 2014-09-23 Snap-On Incorporated Image-based inventory control system with automatic calibration and image correction
AU2009282654A1 (en) * 2008-08-18 2010-02-25 Waterloo Industries, Inc. Systems and arrangements for object identification
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
TW201110928A (en) * 2009-09-16 2011-04-01 Univ Chang Gung Optical tracking apparatus and its positioning method
JP2013528869A (ja) * 2010-06-01 2013-07-11 ミレニウム エスパシオ ソフト，ソシエダ アノニマ オブジェクトを認識する手続き
JP2013546089A (ja) * 2010-12-08 2013-12-26 アペックス インダストリアル テクノロジーズ エル エル シー 直接利用型払い出しシステム
US20120327214A1 (en) * 2011-06-21 2012-12-27 HNJ Solutions, Inc. System and method for image calibration
US20130076898A1 (en) * 2011-08-01 2013-03-28 Richard Philippe Apparatus, systems, and methods for tracking medical products using an imaging unit
US9092961B2 (en) 2011-11-09 2015-07-28 International Business Machines Corporation Real time physical asset inventory management through triangulation of video data capture event detection and database interrogation
US20130250117A1 (en) * 2012-03-26 2013-09-26 Steve Pixley Automated Tool Control System
WO2013188566A1 (en) * 2012-06-12 2013-12-19 Snap-On Incorporated Auditing and forensics for automated tool control systems
US9665794B2 (en) 2012-07-19 2017-05-30 Infosys Limited Methods and systems for enabling vision based inventory management
US9973878B2 (en) * 2012-08-21 2018-05-15 Mikko Vaananen Index of everyday life
US9576267B2 (en) * 2012-11-26 2017-02-21 Partender, LLC System and method for taking an inventory of containers for liquid
US20150334355A1 (en) * 2012-12-27 2015-11-19 Schneider Electric It Corporation System for asset management
JP6205757B2 (ja) * 2013-03-07 2017-10-04 オムロン株式会社 制御システム、制御装置、画像処理装置、および、制御方法
US9687950B2 (en) * 2013-03-13 2017-06-27 Trimble Inc. System and method for positioning a tool in a work space
KR102023013B1 (ko) * 2013-04-18 2019-09-19 엘지전자 주식회사 냉장고 및 그 동작 방법
US10368662B2 (en) * 2013-05-05 2019-08-06 Trax Technology Solutions Pte Ltd. System and method of monitoring retail units
US10296814B1 (en) * 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
US9916560B2 (en) 2013-06-28 2018-03-13 Wal-Mart Stores, Inc. Inventory tracking
US9773223B2 (en) 2013-06-28 2017-09-26 Wal-Mart Stores, Inc. Inventory cache
US9430753B2 (en) 2013-06-28 2016-08-30 Wal-Mart Stores, Inc. Inventory tracking
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
DE102013223932A1 (de) * 2013-11-22 2015-05-28 BSH Hausgeräte GmbH Verfahren zur Fernüberwachung des Betriebs eines Haushaltsgeräts, tragbares Kommunikationsendgerät und Computerprogrammprodukt
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
US9672489B1 (en) * 2014-04-02 2017-06-06 Sprint Communications Company L.P. Inventory validator with notification manager
EP3132391A4 (en) * 2014-04-18 2017-09-06 Ram Healthcare Group, LLC Inventory management system and method
US9342884B2 (en) * 2014-05-28 2016-05-17 Cox Enterprises, Inc. Systems and methods of monitoring waste
RU2017101145A (ru) * 2014-07-01 2018-08-03 Ронни ХЕЙ Управляемый компьютером автоматический киоск, не требующий присутствия продавца
WO2016023097A1 (en) * 2014-08-15 2016-02-18 Synaptive Medical (Barbados) Inc. System and method for managing equipment in a medical procedure
US9358680B1 (en) * 2014-09-15 2016-06-07 Howard T. Krueger Wall-mounted tool organizer
EP4239549A3 (en) 2015-04-15 2023-11-01 Snap-On Incorporated Automated asset management system with multiple sensing technologies
US9390346B1 (en) * 2015-06-10 2016-07-12 Robert Edwin Sheets, Jr. Object location using a mobile device
US9691151B1 (en) 2015-08-25 2017-06-27 X Development Llc Using observations from one or more robots to generate a spatio-temporal model that defines pose values for a plurality of objects in an environment
US10195740B2 (en) 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
TWI582388B (zh) 2015-10-16 2017-05-11 財團法人工業技術研究院 影像縫合方法與影像縫合裝置
USD812374S1 (en) * 2015-10-27 2018-03-13 Matco Tools Corporation Toolbox
DE102015226198A1 (de) * 2015-12-21 2017-06-22 Robert Bosch Gmbh Elektronische Autorisierungsvorrichtung
US10846996B2 (en) 2016-04-25 2020-11-24 Standard Cognition Corp. Registry verification for a mechanized store using radio frequency tags
US9886827B2 (en) 2016-04-25 2018-02-06 Bernd Schoner Registry verification for a mechanized store
WO2018112089A1 (en) * 2016-12-13 2018-06-21 Viatouch Media Inc. Methods and utilities for consumer interaction with a self service system
US11157886B2 (en) 2017-02-03 2021-10-26 Viatouch Media Inc. Cantilevered weight sensitive shelf, rail, and mounting system
US10534122B2 (en) 2017-04-19 2020-01-14 Sunrise R&D Holdings, Llc Fiber optic shelving system
US10084997B1 (en) * 2017-05-23 2018-09-25 Sony Corporation Adaptive optics for a video projector
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
WO2019049503A1 (ja) * 2017-09-07 2019-03-14 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
GB2568054A (en) * 2017-11-01 2019-05-08 Pierre Erica Footwear vending systems
SE542615C2 (en) * 2017-11-28 2020-06-16 Barbara Terebieniec Systems, methods and computer programs for container space allocation monitoring
CN108896972A (zh) * 2018-06-22 2018-11-27 西安飞机工业（集团）有限责任公司 一种基于图像识别的雷达图像仿真方法
JP7210169B2 (ja) * 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
US10602099B2 (en) 2018-07-10 2020-03-24 Saudi Arabian Oil Company Cogen-mom integration using tabulated information recognition
CN109191042A (zh) * 2018-08-28 2019-01-11 深圳市鼎昇贸易有限公司 仓库货物管理方法及相关产品
US11293630B2 (en) 2018-11-21 2022-04-05 Snap-On Incorporated Interactive tool storage system
US11074793B2 (en) * 2018-11-28 2021-07-27 Omni Consumer Products, Llc System, apparatus and method for inventory
US11907894B2 (en) * 2019-01-11 2024-02-20 Fff Enterprises, Inc. Storage devices and operation methods thereof
US11263581B2 (en) * 2019-01-11 2022-03-01 Fff Enterprises, Inc. Storage devices and operation methods thereof
US10997747B2 (en) 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
US20210012622A1 (en) * 2019-07-11 2021-01-14 Zebra Technologies Corporation Scanning Devices and Methods to Constrain Radio Frequency Identification (RFID) Signals Within a Physical Location
JP2022549486A (ja) * 2019-09-25 2022-11-25 スナップ － オン インコーポレイテッド 自動工具制御システムにおける画面上内容識別子の使用
AU2020281008A1 (en) * 2019-10-03 2021-04-22 Johnson & Johnson Vision Care, Inc. Automated product cabinet for inventory control
US20210129313A1 (en) * 2019-11-01 2021-05-06 Tvrdy 8, Llc Horizontal tool staging system and tool staging accessories with secure enclosure and tool locating capabilities
US11886953B2 (en) 2020-04-13 2024-01-30 Position Imaging, Inc. Computer vision system and method of label detection, reading, and registration of labels on objects
CN111673698B (zh) * 2020-06-09 2023-02-03 广东电网有限责任公司东莞供电局 一种工具腰包及检测维修方法
US11341830B2 (en) 2020-08-06 2022-05-24 Saudi Arabian Oil Company Infrastructure construction digital integrated twin (ICDIT)
US11687053B2 (en) 2021-03-08 2023-06-27 Saudi Arabian Oil Company Intelligent safety motor control center (ISMCC)
DE202021104777U1 (de) 2021-09-06 2022-12-19 Hazet-Werk Hermann Zerver Gmbh & Co. Kg Werkzeugbereitstellungsvorrichtung
CN113696155B (zh) * 2021-09-27 2024-04-26 长春奥普光电技术股份有限公司 一种工具的借还系统及其借还方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001009820A2 (en) * 1999-07-28 2001-02-08 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
WO2008029159A1 (en) * 2006-09-07 2008-03-13 Zeroshift Limited Inventory control system
CN101187557A (zh) * 2006-11-22 2008-05-28 高田株式会社 乘员检测装置、工作装置控制系统、安全带系统以及车辆

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1508452A (en) 1974-04-18 1978-04-26 West Electric Co Optical control systems
US4213681A (en) 1977-04-19 1980-07-22 West Electric Co., Ltd. Flash camera
JPS5784522U (zh) 1980-11-14 1982-05-25
AT393644B (de) 1988-10-07 1991-11-25 Rosenbauer Int Gmbh Werkzeughalterung
US5287414A (en) 1991-06-21 1994-02-15 Esselte Pendaflex Corporation Coded file locator system
US5270654A (en) 1991-07-05 1993-12-14 Feinberg David A Ultra-fast multi-section MRI using gradient and spin echo (grase) imaging
US5378883A (en) 1991-07-19 1995-01-03 Omniplanar Inc. Omnidirectional wide range hand held bar code reader
US5369261A (en) 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
US5660276A (en) 1993-12-03 1997-08-26 Winnard; Stanley D. Magnetic tool organizers, and tool box with magnetic organizers
US5376962A (en) 1993-03-31 1994-12-27 Panasonic Technologies, Inc. Neural network video image processor
US5432585A (en) 1993-08-31 1995-07-11 Eastman Kodak Company Improved flash lockout
US5546156A (en) 1994-02-25 1996-08-13 Eastman Kodak Company Camera with pointing aid
WO1995027252A1 (en) 1994-03-31 1995-10-12 Lynn Ltd. Surgical instrument inventory database management system
JPH0868613A (ja) 1994-08-30 1996-03-12 Micro Tekunika:Kk 画像処理による部品の検査方法およびその装置
US6109774A (en) 1995-08-01 2000-08-29 Pyxis Corporation Drawer operating system
US5821993A (en) 1996-01-25 1998-10-13 Medar, Inc. Method and system for automatically calibrating a color camera in a machine vision system
EP0883817B1 (en) 1996-12-18 2005-06-29 Koninklijke Philips Electronics N.V. Mr method for the imaging of jointed movable parts
US6633384B1 (en) 1998-06-30 2003-10-14 Lockheed Martin Corporation Method and apparatus for ultrasonic laser testing
US6682156B2 (en) 1998-07-16 2004-01-27 Supply Point Systems Ltd. Apparatus for controlling access to a plurality of drawers
US6510522B1 (en) 1998-11-20 2003-01-21 Compaq Information Technologies Group, L.P. Apparatus and method for providing access security to a device coupled upon a two-wire bidirectional bus
SE521047C2 (sv) 1999-02-19 2003-09-23 Rutger Roseen Anordning och förfarande för att ge information om innehållet i ett skåp
US6963425B1 (en) * 2000-08-14 2005-11-08 National Instruments Corporation System and method for locating color and pattern match regions in a target image
US7128270B2 (en) 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
JP2001294308A (ja) 2000-04-10 2001-10-23 Matsushita Electric Ind Co Ltd 物品収納庫
US6628829B1 (en) 2000-08-08 2003-09-30 Richard Jeffrey Chasen Method and system for matching a surface color
US6816625B2 (en) 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP3828349B2 (ja) 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US7084738B2 (en) 2000-12-11 2006-08-01 Asap Automation, Llc Inventory system with image display
JP2002278522A (ja) 2001-03-19 2002-09-27 Matsushita Electric Ind Co Ltd 携帯用映像表示装置
JP2002293416A (ja) 2001-03-29 2002-10-09 Fujitsu Ltd 遠隔棚卸システム並びに同システム用店舗側端末装置および遠隔管理装置
US6707381B1 (en) 2001-06-26 2004-03-16 Key-Trak, Inc. Object tracking method and system with object identification and verification
US7336174B1 (en) 2001-08-09 2008-02-26 Key Control Holding, Inc. Object tracking system with automated system control and user identification
CA2460892A1 (en) 2001-09-18 2003-03-27 Pro-Corp Holdings International Limited Image recognition inventory management system
JP2003090661A (ja) 2001-09-20 2003-03-28 Hitachi Ltd 個室付き収納庫およびその制御方法
US7003161B2 (en) 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
JP4032763B2 (ja) 2002-02-08 2008-01-16 大成建設株式会社 保護対象物の画像による復元方法及びそのシステム
JP2004040395A (ja) * 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
US6827275B2 (en) 2003-01-22 2004-12-07 Ufp Technologies, Inc. Method of tracking and marking tools
US6840451B2 (en) 2003-01-22 2005-01-11 Ufp Technologies, Inc. Method of tracking a large number of tools
GB2406092B (en) 2003-09-17 2005-10-19 Coplan Ltd Inventory control system
US20070023193A1 (en) 2003-09-17 2007-02-01 King Roy D Inventory control system
KR100533678B1 (ko) 2003-10-02 2005-12-05 삼성전자주식회사 공개 키 기반 구조의 도메인을 형성하여 ＵＰｎＰ를통하여 구현하는 방법
US6989749B2 (en) 2003-11-21 2006-01-24 The United States Of America As Represented By The Secretary Of The Navy Electronic check out system
US7256682B2 (en) 2003-12-18 2007-08-14 Odin Technologies, Inc. Remote identification of container contents by means of multiple radio frequency identification systems
US8209219B2 (en) * 2004-04-13 2012-06-26 Hyperactive Technologies, Inc. Vision-based measurement of bulk and discrete food products
US8600548B2 (en) 2004-04-24 2013-12-03 Inrange Systems, Inc. Remote medication management system
US7596265B2 (en) * 2004-09-23 2009-09-29 Hewlett-Packard Development Company, L.P. Segmenting pixels in an image based on orientation-dependent adaptive thresholds
JP2006103852A (ja) 2004-10-04 2006-04-20 Cleanup Corp 検索機能付き収納庫
TW200630284A (en) 2005-02-25 2006-09-01 Murata Machinery Ltd A storage management system
WO2006106509A2 (en) 2005-04-04 2006-10-12 Hadasit Ltd. Medical imaging method and system
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US20070067203A1 (en) 2005-09-21 2007-03-22 Sukenik Gil System for data collection from a point of sale
EP1783570A1 (en) 2005-11-03 2007-05-09 Snap-on Incorporated Tool monitoring system
US7630791B2 (en) 2005-12-09 2009-12-08 CareFusion 303 Inc. System and method for storing items and tracking item usage
CN101467454A (zh) 2006-04-13 2009-06-24 科汀科技大学 虚拟观测器
KR100744145B1 (ko) 2006-08-07 2007-08-01 삼성전자주식회사 초임계 유체를 이용하는 웨이퍼 처리 장치 및 웨이퍼 처리방법
US7755482B2 (en) 2006-08-29 2010-07-13 Electronic Inventory Solutions, Inc. Method and apparatus for toolbox inventory
US7932824B2 (en) 2006-10-13 2011-04-26 RFID Mexico, S.A. DE C.V. Item tracking system
US8199246B2 (en) 2007-05-30 2012-06-12 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable media
US8009864B2 (en) 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US7903143B2 (en) 2008-03-13 2011-03-08 Dell Products L.P. Systems and methods for document scanning using a variable intensity display of an information handling system
US8353456B2 (en) 2008-08-08 2013-01-15 Snap-On Incorporated Image-based inventory control system
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001009820A2 (en) * 1999-07-28 2001-02-08 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
WO2008029159A1 (en) * 2006-09-07 2008-03-13 Zeroshift Limited Inventory control system
CN101187557A (zh) * 2006-11-22 2008-05-28 高田株式会社 乘员检测装置、工作装置控制系统、安全带系统以及车辆

Also Published As

Publication number Publication date
WO2010017531A3 (en) 2011-01-27
US20160098831A1 (en) 2016-04-07
US20100046791A1 (en) 2010-02-25
ES2940228T3 (es) 2023-05-04
CN102177524A (zh) 2011-09-07
EP2329436A2 (en) 2011-06-08
US9147174B2 (en) 2015-09-29
EP3404598A1 (en) 2018-11-21
US9922413B2 (en) 2018-03-20
EP2329436B1 (en) 2018-05-30
WO2010017531A2 (en) 2010-02-11
EP2329436A4 (en) 2011-10-19
EP3404598B1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
CN102177524B (zh) 使用先进图像识别的基于图像的库存控制系统
CN102369560B (zh) 基于图像的库存控制系统和方法
CN102165469B (zh) 具有自动校准以及图像校正功能的基于图像的库存控制系统
US10740994B2 (en) Tool training for automated tool control systems
US9122999B2 (en) Image-based inventory control system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant