ES2940228T3 - Sistema de control de inventario basado en imágenes utilizando reconocimiento de imágenes avanzado - Google Patents

Abstract

Se describen sistemas para monitorear una condición de inventario de objetos basados en imágenes capturadas. Un sistema ejemplar incluye al menos un cajón de almacenamiento, incluyendo cada cajón de almacenamiento una pluralidad de lugares de almacenamiento para almacenar objetos; y un dispositivo de almacenamiento de datos que almacena datos de referencia para cada cajón de almacenamiento. Los datos de referencia incluyen, para cada región de interés correspondiente a cada cajón de almacenamiento respectivo, al menos una firma de imagen de referencia que representa los atributos de la región de interés cuando un objeto almacenado está presente, y una firma de imagen de referencia que representa los atributos de la región de interés cuando el objeto almacenado no está presente. Un procesador de datos del sistema está configurado para derivar una firma de imagen que representa atributos de una región de interés correspondiente a un cajón usando una imagen capturada del cajón; (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema de control de inventario basado en imágenes utilizando reconocimiento de imágenes avanzado CAMPO DE LA DESCRIPCIÓN

La presente descripción se relaciona con un sistema de control de inventario, más específicamente, con un sistema de control de inventario basado en imágenes para determinar una condición de inventario de objetos almacenados en el sistema, en base a imágenes capturadas de varias ubicaciones de almacenamiento del sistema.

ANTECEDENTES Y COMPENDIO DE LA DESCRIPCIÓN

Cuando se utilizan herramientas en un entorno de fabricación o servicio, es importante que las herramientas se devuelvan a una unidad de almacenamiento, tal como una caja de herramientas, después de su uso. Los empleadores típicamente realizan una comprobación de inventario manual de la caja de herramientas para minimizar o eliminar el problema de extravío o robo de herramientas costosas. Las empresas pueden realizar auditorías aleatorias de la caja de herramientas de los empleados para evitar robos y monitorizar la ubicación de las herramientas.

Algunas industrias tienen altos estándares para el control de inventario de herramientas, para prevenir incidentes de dejar herramientas en el entorno de trabajo donde podrían causar daños severos. Para la industria aeroespacial, es importante asegurarse de que no se dejen herramientas accidentalmente en una aeronave o misil que se esté fabricando, ensamblando o reparando. La Asociación de Industrias Aeroespaciales incluso establece un estándar llamado Estándar Nacional Aeroespacial que incluye procedimientos recomendados, gestión de personal y operaciones para reducir el daño por objetos extraños (FOD) a los productos aeroespaciales. FOD se define como cualquier objeto que no forma parte estructural de la aeronave. Los objetos extraños más comunes encontrados son tuercas, pernos, cables de seguridad y herramientas de mano. El control de inventario de herramientas es crítico para evitar que se dejen herramientas en una aeronave.

Algunas cajas de herramientas incluyen características de determinación de inventario integradas para realizar un seguimiento de las condiciones de inventario de las herramientas almacenadas en esas cajas de herramientas. Por ejemplo, algunas cajas de herramientas disponen de sensores de contacto, sensores magnéticos o sensores de infrarrojos en o junto a cada ubicación de almacenamiento de herramientas, para detectar si una herramienta está colocada en cada ubicación de almacenamiento de herramientas. En base a las señales generadas por los sensores, las cajas de herramientas son capaces de determinar si falta alguna herramienta. Si bien este tipo de comprobación de inventario puede ser útil hasta cierto punto, adolece de varios inconvenientes. Por ejemplo, si un sensor detecta que algo está ocupando una ubicación de almacenamiento, la caja de herramientas determinará que no falta ninguna herramienta en esa ubicación de almacenamiento. Sin embargo, la caja de herramientas no sabe si el tipo correcto de herramienta se ha vuelto a colocar realmente en la caja de herramientas o si solo se han colocado algunos objetos en la ubicación de almacenamiento para engañar al sistema. Además, disponer sensores para numerosas ubicaciones de almacenamiento en una caja de herramientas es tedioso y costoso, y el gran número de sensores es propenso a daños o mal funcionamiento que producirán falsas alarmas negativas o positivas.

El documento WO 2008/029159 A1 describe un sistema de control de inventario para monitorizar la retirada y reemplazo de artículos de inventario. El sistema incluye un sistema de cámara y un dispositivo de procesamiento de datos dispuesto para recibir señales del sistema de cámara, dicho dispositivo de procesamiento de datos que incluye medios de reconocimiento de imágenes para analizar las señales recibidas del sistema de cámara para determinar la presencia y/o ausencia de los artículos del inventario.

En consecuencia, existe la necesidad de un sistema de control de inventario efectivo que pueda ayudar a rastrear y contabilizar el uso de herramientas y si se vuelven a colocar correctamente después de su uso. También existe la necesidad de un sistema de control de inventario que sepa exactamente qué herramienta se retira o se devuelve a una caja de herramientas. Además, como múltiples trabajadores pueden tener acceso a la misma caja de herramientas, existe otra necesidad de un sistema de control de inventario que pueda rastrear a un usuario y su uso de las herramientas, para determinar las responsabilidades por cualquier pérdida o extravío de herramientas.

Esta descripción describe varias realizaciones de sistemas de control de inventario altamente automatizados que utilizan una metodología y una imagen de máquina únicas para identificar una condición de inventario en la unidad de almacenamiento. Las características ilustrativas incluyen la capacidad de procesar datos de imágenes complejos con una utilización eficiente de los recursos del sistema, calibraciones autónomas de imágenes y cámaras, identificación de características de herramientas a partir de datos de imágenes, temporización adaptativa para capturar imágenes de inventario, generación eficiente de datos de referencia para comprobar el estado del inventario, compensación autónoma de calidad de imagen, etc.

COMPENDIO DE LA INVENCIÓN

La invención reivindicada se define por las características expuestas en las reivindicaciones independientes adjuntas. Las realizaciones adicionales de la invención reivindicada se definen en las reivindicaciones dependientes.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La presente invención se ilustra a modo de ejemplo, y no a modo de limitación, en los dibujos adjuntos, en donde elementos que tienen las mismas designaciones numéricas de referencia representan elementos similares en todo el documento y en donde:

Las figuras 1a y 1b muestran unidades de almacenamiento ejemplares en las que se pueden implementar realizaciones según esta descripción;

la figura 2 muestra detalles dentro de un cajón de almacenamiento ejemplar operado en el modo abierto; la figura 3 muestra un sistema de almacenamiento de herramientas ejemplar según esta descripción; las figuras 4a-4c y 4e son vistas diferentes del sistema de almacenamiento de herramientas mostrado en la figura 3;

la figura 4d ilustra cómo se une una imagen ejemplar;

la figura 5 muestra un recorte de herramienta, una zona de amortiguamiento y una zona de dilatación ejemplares;

las figuras 6a y 6b son diseños de identificadores ejemplares para utilizar en esta descripción;

las figuras 7a-7e y 8a-8d ilustran ejemplos de calibración de imágenes;

la figura 9 es un diagrama de bloques de un sistema de control de inventario en red ejemplar; y

las figuras 10a-10d son imágenes ilustrativas de un registro de auditoría ejemplar e imágenes tomadas durante el acceso a un sistema ejemplar según esta descripción.

DESCRIPCIONES DETALLADAS DE REALIZACIONES ILUSTRATIVAS

En la siguiente descripción, con fines explicativos, se exponen numerosos detalles específicos con el fin de proporcionar una comprensión completa de la presente descripción. Específicamente, las operaciones de realizaciones ilustrativas que utilizan visión artificial para identificar las condiciones de inventario de una unidad de almacenamiento se describen en el contexto de la gestión de herramientas y el control de inventario de herramientas. Será evidente, sin embargo, para un experto en la técnica que los conceptos de la descripción se pueden practicar o implementar sin estos detalles específicos. Se pueden utilizar conceptos similares en otros tipos de sistemas de control de inventario, tales como la gestión de almacenes, la gestión de inventarios de joyería, la gestión de sustancias sensibles o controladas, la gestión de inventarios de minibares, la gestión de medicamentos, la gestión de bóvedas o cajas de seguridad, etc. En otros ejemplos, estructuras y dispositivos bien conocidos se muestran en forma de diagrama de bloques con el fin de evitar oscurecer innecesariamente la presente descripción. Como se utiliza a lo largo de esta descripción, los términos "una imagen capturada", "imágenes capturadas", "una imagen" o "imágenes" de un objeto, un área o un cajón se definen como una imagen del objeto, área o cajón completo, o una imagen parcial del objeto, área o cajón.

DESCRIPCIÓN GENERAL DE SISTEMAS DE CONTROL DE INVENTARIO EJEMPLARES

Las figuras 1a y 1b muestran unidades de almacenamiento ejemplares en las que se pueden implementar sistemas de control de inventario según esta descripción. La figura 1a es un sistema de almacenamiento de herramientas 100 ejemplar que incluye múltiples cajones de almacenamiento 120. Cada cajón de almacenamiento 120 incluye múltiples ubicaciones de almacenamiento para almacenar varios tipos de herramientas. Como se utiliza a lo largo de esta invención, una ubicación de almacenamiento es una ubicación en un sistema de almacenamiento para almacenar o asegurar objetos. En una realización, cada herramienta tiene una ubicación de almacenamiento designada previamente específica en el sistema de almacenamiento de herramientas.

Cada cajón de almacenamiento opera entre un modo cerrado, que no permite el acceso al contenido del cajón, y un modo abierto, que permite el acceso parcial o completo al contenido del cajón. Cuando un cajón de almacenamiento se mueve de un modo cerrado a un modo abierto, el cajón de almacenamiento permite aumentar el acceso a su contenido. Por otro lado, si un almacenamiento se mueve de un modo abierto a un modo cerrado, el cajón de almacenamiento permite disminuir el acceso a su contenido. Como se muestra en la figura 1a, todos los cajones de almacenamiento 120 están en modo cerrado.

Se puede utilizar un dispositivo de bloqueo para controlar el acceso al contenido de los cajones 120. Cada cajón 120 individual puede tener su propia cerradura o múltiples cajones de almacenamiento 120 pueden compartir un dispositivo de bloqueo común. Solo los usuarios autenticados o autorizados son capaces de acceder al contenido de los cajones.

Los cajones de almacenamiento pueden tener diferentes tamaños, formas, diseños y disposiciones. La figura 1b muestra otro tipo de sistema de almacenamiento de herramientas 200 que incluye múltiples estantes o compartimentos de almacenamiento 220 y una sola puerta 250 que asegura el acceso a los estantes de almacenamiento 250. Los estantes o compartimentos de almacenamiento pueden tener diferentes tamaños, formas, diseños y disposiciones.

La figura 2 muestra detalles dentro de un cajón de almacenamiento ejemplar 120 en el modo abierto. Cada cajón de almacenamiento 120 incluye una base de espuma 180 que tiene una pluralidad de ubicaciones de almacenamiento, tales como recortes de herramientas 181, para almacenar herramientas. Cada recorte está específicamente contorneado y conformado para recibir de manera encajada una herramienta con las formas correspondientes. Las herramientas se pueden asegurar en cada ubicación de almacenamiento utilizando ganchos, velero, pestillos, presiones de la espuma, etc.

Un sistema de control de inventario ejemplar según esta invención determina una condición de inventario de objetos capturando y procesando imágenes de ubicaciones de almacenamiento que se utilizan para almacenar los objetos. El sistema incluye varios subsistemas necesarios para realizar diferentes funciones, que incluyen: un subsistema de almacenamiento, un subsistema de imágenes, un subsistema de control de acceso, un subsistema de suministro de energía, un subsistema de interfaz de usuario, un subsistema de procesamiento de datos, un subsistema de sensores y un subsistema de red. Se entiende que la lista de subsistemas es solo con fines ilustrativos y no es exhaustiva. Un sistema ejemplar según esta invención se puede implementar utilizando más o menos subsistemas dependiendo de la preferencia de diseño. Además, no todos los subsistemas tienen que ser parte integral del sistema de control de inventario. En una realización, varias funciones descritas en esta descripción se pueden implementar en una arquitectura distribuida que incluye múltiples subsistemas conectados a una red de transmisión de datos. Cada subsistema conectado por la red de transmisión de datos contribuye con una parte de la funcionalidad para todo el sistema. De esta forma, la funcionalidad total del sistema se distribuye a través de múltiples subsistemas que se comunican a través de la red de transmisión de datos. Se puede establecer una metodología de comunicaciones o una combinación de metodologías para permitir compartir información sin discontinuidad a través de la red con los diversos subsistemas o sistemas de procesamiento de datos externos al sistema de control de inventario. La metodología puede incluir Protocolo de Control de Transmisión/Protocolo de Internet (TCP/IP), DISCO, SOAP, XML, DCOM, CORBA, HTML, ASP, protocolos Microsoft .NET, servicios web de Microsoft .NET y otras metodologías de comunicación alternativas.

(1) Subsistema de almacenamiento

El subsistema de almacenamiento incluye múltiples ubicaciones de almacenamiento para almacenar objetos, tales como los ilustrados en las Figuras 1a, 1b y 2. Se entiende que otros tipos de sistemas de almacenamiento que se utilizan para almacenar objetos se pueden utilizar para implementar el subsistema de almacenamiento.

(2) Subsistema de imágenes

El subsistema de imágenes incluye uno o más dispositivos de detección de imágenes configurados para capturar imágenes de parte o todo el contenido o ubicaciones de almacenamiento, y dispositivos de iluminación que proporcionan las iluminaciones necesarias. El dispositivo de detección de imágenes puede ser cámaras basadas en lentes, cámaras de CCD, cámaras de CMOS, cámaras de video o cualquier tipo de dispositivo que capture imágenes. Los dispositivos de detección de imágenes pueden incluir opcionalmente medios de preprocesamiento para preprocesar imágenes capturadas. Ejemplos de preprocesamiento incluyen compresión de datos, mejora, recuperación de información, extracción de datos, derivación de características de elementos de interés en ciertas áreas predefinidas o regiones de interés y las áreas circundantes, etc. Los dispositivos de detección de imágenes transmiten datos de imágenes sin procesar o cualquier dato para su procesamiento o visualización por un sistema de procesamiento de datos ubicado localmente o remoto del subsistema de imágenes. La cámara puede incluir una interfaz de red para conectarse a una red de transmisión de datos para transmitir datos que incluyen imágenes capturadas, imágenes preprocesadas, información derivada de las imágenes capturadas, etc.

(3) Subsistema de control de acceso

El subsistema de control de acceso incluye uno o más dispositivos de verificación de identidad para verificar o autenticar la identidad y un nivel de autorización de un usuario que intenta acceder a objetos almacenados en el subsistema de almacenamiento; y uno o más dispositivos de bloqueo que controlan el acceso a las ubicaciones de almacenamiento en el subsistema de almacenamiento. Por ejemplo, el subsistema de control de acceso mantiene algunos o todos los cajones de almacenamiento bloqueados en una posición cerrada hasta que el dispositivo de verificación de identidad autentica la autorización de un usuario para acceder al subsistema de almacenamiento. El subsistema de control de acceso puede utilizar uno o más medios de autenticación de acceso para verificar los niveles de autorización de un usuario, tales como utilizar un teclado numérico para introducir un código de acceso o contraseñas, un lector de tarjeta de acceso para leer desde una tarjeta de acceso o nivel de autorización de llaveros de un usuario que sostiene la tarjeta o llavero, métodos biométricos tales como lectores de huellas dactilares o escaneos de retina, reconocimientos faciales, tarjetas de ID magnéticas o de radiofrecuencia, sensor de proximidad, sensor de ocupación y/o entrada manual u otros métodos. En una realización, el acceso a cada ubicación de almacenamiento o cajón de almacenamiento se controla y se concede de forma independiente. En base a una autorización asignada o un nivel de acceso, se puede conceder acceso a un usuario a uno o más cajones, pero no a otros.

(4) Subsistema de suministro de energía

El subsistema de suministro de energía proporciona y gestiona la energía suministrada al sistema de control de acceso al inventario. El subsistema de suministro de energía incluye una o más fuentes de energía que incluyen conexiones a una o más fuentes de energía de AC y/o uno o más dispositivos de almacenamiento de energía, tales como baterías y/o cargadores de baterías. El subsistema también puede incluir los circuitos y controladores necesarios para rastrear una condición de suministro de energía del sistema, tal como conmutar entre el suministro de energía de AC y el suministro de energía de la batería, monitorizar el estado de carga de la batería o baterías, etc. Se puede proporcionar un cargador externo de modo que las baterías se pueden cargar aparte del sistema y mantener en reserva para cambiar rápidamente las baterías gastadas en el sistema. En una realización, un cargador de batería remoto puede estar conectado a una red de datos acoplada al sistema de control de inventario para informar una condición de carga de una batería que se está cargando en un cargador remoto. En otra realización, el subsistema de suministro de energía está acoplado a un ordenador maestro remoto al sistema de control de inventario, proporcionando información con respecto una condición de suministro de energía del sistema de control de inventario al ordenador maestro, tal como fallos de energía, condiciones de carga, suministros de energía disponibles, etc.

(5) Subsistema de interfaz de usuario

El subsistema de interfaz de usuario incluye dispositivos para comunicarse con un usuario del sistema de control de inventario, tal como uno o más de una pantalla, un micrófono, un altavoz, un teclado, un ratón o cualquier otro dispositivo que emita información al usuario y/o o permita que el usuario introduzca información. El usuario puede ser un técnico que intenta acceder a objetos o herramientas en el sistema de control de inventario, o un administrador que gestiona la condición de inventario del sistema.

(6) Subsistema de procesamiento de datos

El subsistema de procesamiento de datos, tal como un ordenador, está a cargo de procesar las imágenes capturadas por los dispositivos de detección de imágenes del subsistema de imágenes y/o generar informes de las condiciones de inventario. Las imágenes capturadas o formadas por los dispositivos de detección de imágenes se procesan por el sistema de procesamiento de datos para determinar una condición de inventario. El término condición de inventario, como se utiliza a lo largo de esta descripción, significa información relacionada con una condición de existencia o inexistencia de objetos.

El subsistema de procesamiento de datos se puede implementar como parte integral del sistema de control de inventario; o con un ordenador remoto que tenga un enlace de datos, tal como un enlace cableado o inalámbrico, acoplado al sistema de control de inventario; o una combinación de un ordenador integrado en el sistema de control de inventario y un ordenador remoto al sistema de control de inventario. Las operaciones detalladas para formar imágenes y determinar las condiciones de inventario se discutirán en breve.

En una realización, el subsistema de procesamiento de datos contiene información e historial del usuario y/u objeto. Un usuario puede consultar el subsistema de procesamiento de datos sobre el estado, la configuración de usuarios, el manejo de excepciones, el mantenimiento del sistema, etc. En otra realización, se proporciona un sistema central, externo al sistema de control de inventario, y se acopla al ordenador integral al sistema de control de inventario a través de un enlace de datos o red, para proporcionar funciones de supervisión o mantenimiento, ver imágenes de auditoría, proporcionar informes y resúmenes de estado y ubicación de artículos, etc.

(7) Subsistema de sensores

Dependiendo de las funciones necesarias, se puede proporcionar un subsistema de sensores, además del subsistema de imágenes, para detectar atributos de objetos o áreas de interés o sus alrededores. Estos atributos se pueden utilizar junto con la información de imágenes obtenida por los dispositivos de detección de imágenes del subsistema de imágenes para mejorar el reconocimiento de objetos o estados de los mismos. El subsistema de sensores puede incluir sensores para detectar condiciones tales como presión, luz, fuerza, tensión, campo magnético, detección capacitiva, RFID, campo eléctrico, movimiento, aceleración, orientación, posición, ubicación, GPS, triangulación de radiofrecuencia, triangulación de luz, proximidad, intensidad y/o dirección del campo gravitacional, el tacto y la entrada o interacción manual simple se pueden incluir como entrada.

(8) Subsistema de red

El subsistema de red permite que los subsistemas formen comunicaciones de datos entre los subsistemas y/o interactúen con una red de comunicación de datos y/u otro sistema de procesamiento de datos externo al sistema de control de inventario, para realizar comunicaciones de datos. Ejemplos de dispositivos para implementar la interfaz de red incluyen una o más de una interfaz Ethernet, RS-232, ^r S-422, RS-485, bus de acceso, I2C, bus IE, bus LIN, bus MI, bus Microwire, MOST, bus MPI, SMBus, SPI (interfaz periférica en serie), USB, WiFi u otra Ethernet inalámbrica, fibra óptica, Zigbee, IEEE 802.15.4, Rubee, Bluetooth, UWB (banda ultraancha), IrDA o cualquier otra tecnología de comunicación de datos de banda estrecha o banda ancha adecuada. Se puede utilizar una combinación de varias interfaces de comunicación dentro y/o externa del sistema de control de inventario.

Según una realización, un ciclo de operación es el siguiente: el subsistema de control de acceso acepta la información de identificación del usuario. El subsistema de procesamiento de datos valida al usuario y envía un comando a través de Ethernet y TCP/IP para activar los dispositivos de detección de imágenes, ajustar las iluminaciones para uso por el subsistema de imágenes y desbloquear las cerraduras. Los dispositivos de detección de imágenes adquieren imágenes de las ubicaciones de almacenamiento y unen las imágenes capturadas entre sí para evaluar las regiones de interés relacionadas con los objetos. El subsistema de imágenes calcula los atributos de las imágenes capturadas y envía los atributos al subsistema de procesamiento de datos a través de la red de comunicaciones Ethernet para evaluaciones adicionales. El subsistema de procesamiento de datos evalúa los atributos y determina una condición de inventario, actualiza los registros en la base de datos de inventario y proporciona realimentación al usuario. Una vez que el usuario cierra la sesión del sistema, el subsistema de procesamiento de datos envía un comando a través de la red de comunicaciones Ethernet para finalizar la sesión, asegurar los cajones y apagar las luces y los dispositivos de detección de imágenes en el subsistema de imágenes.

La figura 3 muestra un sistema de control de inventario ejemplar implementado como un sistema de almacenamiento de herramientas 300 según esta descripción para almacenar herramientas. El sistema de almacenamiento 300 incluye una pantalla 305, un dispositivo de control de acceso 306, tal como un lector de tarjetas, para verificar la identidad y los niveles de autorización de un usuario que intenta acceder al sistema de almacenamiento 300, múltiples cajones de almacenamiento de herramientas 330 para almacenar herramientas. El sistema de almacenamiento de herramientas 300 incluye un dispositivo de detección de imágenes configurado para capturar imágenes de contenidos o ubicaciones de almacenamiento del sistema. El dispositivo de detección de imágenes puede ser cámaras basadas en lentes, cámaras de CCD, cámaras de CMOS, cámaras de video o cualquier tipo de dispositivo que capture imágenes.

El sistema 300 incluye un sistema de procesamiento de datos, tal como un ordenador, para procesar imágenes capturadas por el dispositivo de detección de imágenes. Las imágenes capturadas o formadas por el dispositivo de detección de imágenes se procesan por el sistema de procesamiento de datos para determinar una condición de inventario del sistema o cada cajón de almacenamiento. El término condición de inventario como se utiliza a lo largo de esta descripción significa información relacionada con una condición de existencia o inexistencia de objetos en el sistema de almacenamiento.

El sistema de procesamiento de datos puede ser parte del sistema de almacenamiento de herramientas 300; un ordenador remoto que tiene un enlace de datos, tal como un enlace cableado o inalámbrico, acoplado al sistema de almacenamiento de herramientas 300; o una combinación de un ordenador integrado en el sistema de almacenamiento 300 y un ordenador remoto al sistema de almacenamiento 300. Las operaciones detalladas para formar imágenes y determinar las condiciones de inventario se discutirán en breve.

Los cajones 330 son similares a los cajones 120 mostrados en la figura 1a. La pantalla 305 es un dispositivo de entrada y/o salida del sistema de almacenamiento 330, configurado para mostrar información a un usuario. La entrada de información se puede realizar a través de varios tipos de dispositivos de entrada, tales como teclados, ratones, reconocimientos de voz, entradas de panel táctil, etc. El dispositivo de control de acceso 306 se utiliza para limitar o permitir el acceso a los cajones de almacenamiento de herramientas 330. El dispositivo de control de acceso 306, a través del uso de uno o más dispositivos de bloqueo mantiene algunos o todos los cajones de almacenamiento 330 bloqueados en una posición cerrada hasta que el dispositivo de control de acceso 306 autentica la autorización de un usuario para acceder al sistema de almacenamiento 300.

El dispositivo de control de acceso 306 puede utilizar uno o más medios de autenticación de acceso para verificar los niveles de autorización de un usuario, tales como utilizando un teclado numérico para introducir un código de acceso, un lector de tarjeta de acceso para leer desde una tarjeta de acceso o el nivel de autorización de llavero de un usuario que posee la tarjeta o llavero, métodos biométricos tales como lectores de huellas dactilares o escaneos de retina, u otros métodos. Si el dispositivo de control de acceso 306 determina que un usuario está autorizado para acceder al sistema de almacenamiento 300, desbloquea algunos o todos los cajones de almacenamiento 330, dependiendo del nivel de autorización del usuario, permitiendo al usuario retirar o reemplazar herramientas. En una realización, el acceso a cada cajón de almacenamiento 300 se controla y concede de forma independiente. En base a una autorización o nivel de acceso asignado, se puede conceder acceso a un usuario a uno o más cajones del sistema 300, pero no a otros cajones. En una realización, el dispositivo de control de acceso 306 vuelve a bloquear un cajón de almacenamiento 330 después de que un usuario cierra el cajón.

La ubicación del dispositivo de control de acceso 306 no se limita al frente del sistema de almacenamiento 300. Podría estar dispuesto en la parte superior del sistema o en una superficie lateral del sistema. En una realización, el dispositivo de control de acceso 306 está integrado con la pantalla 305. La información de usuario con fines de autenticación se puede introducir a través del dispositivo de visualización con funciones de pantalla táctil, cámaras de detección de rostros, lectores de huellas dactilares, escáneres de retina o cualquier otro tipo de dispositivo utilizado para verificar la autorización de un usuario para acceder al sistema de almacenamiento 300.

Las figuras 4a y 4b muestran una vista en perspectiva parcial de un subsistema de imágenes en el sistema de almacenamiento de herramientas 300. Como se ilustra en la figura 4a, un dispositivo de control de acceso 306 en forma de lector de tarjeta está dispuesto en una superficie lateral del sistema. El sistema de almacenamiento 300 incluye un compartimento de imágenes 330 que aloja un dispositivo de detección de imágenes que comprende tres cámaras 310 y un dispositivo de dirección de luz, tal como un espejo 312 que tiene una superficie de reflexión dispuesta a alrededor de 45 grados hacia abajo en relación con una superficie vertical, para dirigir la luz reflejada desde los cajones 330 a las cámaras 310. La luz dirigida, después de llegar a las cámaras 310, permite que las cámaras 310 formen imágenes de los cajones 330. El área sombreada 340 debajo del espejo 312 representa un campo de visión del dispositivo de detección de imágenes del sistema de almacenamiento de herramientas 300. Espejo 312 tiene un ancho igual o mayor que el de cada cajón de almacenamiento y redirige la vista de la cámara hacia abajo, hacia los cajones. La figura 4e es una vista lateral ilustrativa del sistema 300 que muestra la posición relativa entre las cámaras 310, el espejo 312 y los cajones 330. La luz L reflejada desde cualquiera de los cajones 330 al espejo 312 se dirige a las cámaras 310.

La figura 4b es una vista en perspectiva idéntica a la figura 4a excepto que se retira una cubierta del compartimento de imágenes 330 para revelar detalles del diseño. Cada cámara 310 está asociada con un campo de visualización 311. Como se muestra en la figura 4b, los campos de visualización combinados de las cámaras 310 forman el campo de visualización 340 del dispositivo de detección de imágenes. El campo de visualización 340 tiene una profundidad de x. Por ejemplo, la profundidad del campo de visión 340 puede ser de aproximadamente 2 pulgadas (5,08 centímetros).

La figura 4c es una vista en perspectiva alternativa del sistema de almacenamiento de herramientas 300 mostrado en la figura 4a, excepto que un cajón de almacenamiento 336 ahora opera en un modo abierto que permite el acceso parcial a su contenido o ubicaciones de almacenamiento en el cajón de almacenamiento 336.

Esta disposición de cámaras 310 y espejo 312 en las figuras 4a-4c permite a las cámaras 310 la capacidad de capturar imágenes desde el cajón superior al cajón inferior, sin necesidad de cambiar sustancialmente su distancia focal.

En una realización, las cámaras 310 capturan múltiples imágenes parciales de cada cajón de almacenamiento según se abre o se cierra. Cada imagen capturada por las cámaras 310 puede estar asociada con un ID único o una marca de tiempo que indica la hora cuando se capturó la imagen. La adquisición de las imágenes está controlada por un procesador de datos en el sistema de almacenamiento de herramientas 300. En una realización, las imágenes capturadas tienen el ancho completo del cajón pero solo aproximadamente 2 pulgadas (5,08 centímetros) de profundidad. Las imágenes capturadas se superponen un poco en profundidad y/o en ancho. Como se muestra en la figura 4D, las imágenes parciales 41-45 tomadas por diferentes cámaras 310 en diferentes momentos se pueden unir entre sí para formar una imagen única del cajón parcial o completo y su contenido y/o ubicaciones de almacenamiento. Esta unión se puede realizar por el procesador de datos o por un ordenador conectado o remoto utilizando programas de software disponibles en el mercado o desarrollados a medida. Dado que las imágenes se capturan en segmentos de aproximadamente dos pulgadas (5,08 centímetros), múltiples segmentos de imagen se capturan por cada cámara. En cada cajón se pueden incluir una o más escalas visibles. El procesador puede monitorizar la parte de la imagen que contiene la escala en un modo de imagen rápido similar a la monitorización de video. Cuando la escala alcanza una posición especificada o calculada, el sistema de procesamiento de datos controla el dispositivo de detección de imágenes para capturar y registrar un segmento de imagen. La escala también puede ayudar en la unión de fotografías. Además, se puede aplicar un patrón tal como una rejilla a la superficie del cajón. El patrón se podría utilizar para ayudar en el proceso de unión o captura de imágenes.

En otra realización, el dispositivo de detección de imágenes incluye espejos más grandes y cámaras con lentes de gran angular, con el fin de crear un campo de visión x más profundo, de manera que la necesidad de unión de imágenes se pueda reducir o eliminar por completo.

En una realización, se utilizan una o más cámaras de escaneo lineal para implementar el dispositivo de detección de imágenes. Una cámara de escaneo lineal captura una imagen esencialmente en una dimensión. La imagen tendrá un ancho significativo dependiendo del sensor, pero la profundidad es de solo un píxel. Una cámara de escaneo lineal captura una franja de imagen del ancho del cajón de herramientas, pero de solo un píxel de profundidad. Cada vez que el cajón 330 se mueva en un incremento predeterminado, la cámara capturará otra franja de imagen. En este caso, las franjas de imagen se deben unir entre sí para crear una imagen de cajón completo utilizable. Este es el mismo proceso utilizado en muchas fotocopiadoras para capturar una imagen del documento. El documento se mueve a través de una cámara de escaneo lineal y las múltiples franjas de imágenes se unen entre sí para crear una imagen del documento completo.

Además de un espejo, se entiende que se pueden utilizar otros dispositivos, tales como prismas, una combinación de diferentes tipos de lentes, incluyendo planas, cóncavas y/o convexas, fibra óptica o cualquier dispositivo que pueda dirigir la luz de un punto a otro para implementar el dispositivo de dirección de luz para dirigir la luz procedente de un objeto a una cámara remota. Otra opción podría ser el uso de fibra óptica. El uso de un dispositivo de dirección de luz puede introducir distorsiones en las imágenes capturadas. Se pueden realizar calibraciones o procesamiento de imágenes para eliminar las distorsiones. Por ejemplo, las cámaras 310 pueden ver primero un patrón de cuadrícula simple conocido reflejado por el dispositivo de dirección de luz y crear un mapa de distorsión para su uso por el procesador de procesamiento de datos para ajustar la imagen capturada para compensar la distorsión del espejo.

Para una mejor captura y procesamiento de imágenes, puede ser deseable calibrar las cámaras. Las cámaras pueden incluir ciertas variaciones de construcción con respecto a la distorsión de imagen o la distancia focal. Las cámaras se pueden calibrar para reducir la distorsión de una manera similar a cómo se puede reducir la distorsión del espejo. De hecho, la calibración del espejo podría compensar tanto la distorsión de cámara como la del espejo, y puede ser la única corrección de distorsión utilizada. Además, cada cámara individual se puede calibrar utilizando un dispositivo especial para determinar la distancia focal real de su lente, y el software se puede utilizar para compensar las diferencias de una cámara a otra en un solo sistema.

En una realización, el dispositivo de detección de imágenes no incluye ningún espejo. Más bien, una o más cámaras están dispuestas en la ubicación donde estaba dispuesto el espejo 312. En este caso, las cámaras apuntan directamente hacia los cajones de almacenamiento 330. En otra realización, cada cajón de almacenamiento 330 tiene una o más cámaras asociadas para capturar imágenes para ese cajón de almacenamiento.

DETERMINACIÓN DE CONDICIONES DE INVENTARIO

En un sistema 300 ejemplar, cada ubicación de almacenamiento en el cajón 330 está configurada para almacenar un objeto designado previamente, tal como una herramienta designada previamente. Por ejemplo, como se muestra en la figura 2, cada cajón 330 incluye una capa de espuma 180 que tiene una pluralidad de recortes para herramientas 181 para almacenar herramientas designadas previamente. Cada recorte de herramienta tiene una forma sustancialmente similar al contorno de la herramienta almacenada en el recorte. El sistema 300 determina la existencia o ausencia de cada objeto en base a datos de imagen de una o más regiones de interés (ROI) predefinidas. Una región de interés (ROI) es un área predefinida cuyos datos de imagen incluyen información útil para determinar la existencia o ausencia de un objeto en una ubicación de almacenamiento específica. Una ROI se puede definir por los diseñadores del sistema y puede cubrir o superponer parte o todo el recorte de la herramienta, o no cubrir o superponer un recorte de la herramienta en absoluto. El sistema 300 determina un inventario de objetos o herramientas analizando los datos de imagen de las ROI predefinidas. Los detalles para utilizar las ROI para determinar una condición de inventario se discutirán en breve.

Para mejorar la eficiencia en el procesamiento y transmisiones de datos de imagen, el sistema 300 determina la presencia o ausencia de herramientas en los cajones 330 en base a firmas de imagen derivadas en base a imágenes capturadas de una o más ROI y firmas de imagen de referencia de las ROI. Una firma de imagen es una representación de una imagen específica o ROI que incluye atributos únicos para cada imagen o ROI. Estos atributos únicos incluyen uno o más de color, tamaño, forma, ancho, alto, profundidad, silueta o perfil, gravedad específica, peso, diámetro, reflectividad, densidad, propiedades térmicas, viscosidad, dimensiones, textura, acabado superficial, etc. Representaciones de estos atributos, según una realización, se derivan en base a una o más imágenes capturadas de un área. Los detalles de derivación de firmas de imagen para una imagen específica o ROI se describirán en breve.

El sistema 300 tiene acceso a datos de referencia de firmas que incluyen firmas de imágenes de referencia de la misma área o ROI cuando está presente un objeto, tal como una herramienta, y cuando falta el objeto. Para cada área o ROI, se pueden generar firmas de imagen de referencia tomando una imagen de esa área o ROI tanto cuando un objeto está presente como cuando no está presente.

En base a una correlación de firmas de imagen para una imagen de un área o ROI y los datos de referencia de firma, el sistema 300 determina si un objeto correspondiente a una ubicación de almacenamiento está presente o falta. Por ejemplo, se utilizan dos conjuntos de firmas de imagen de referencia, uno relacionado con un recorte que está ocupado por una herramienta correspondiente y otro relacionado con el mismo recorte que no está ocupado por la herramienta correspondiente. Se hace una determinación de una condición de inventario en base a una correlación de firmas de imagen de una imagen capturada de un área de cobertura del recorte y un área que rodea inmediatamente el recorte, y datos de referencia de firma de la misma área.

El software adecuado se puede ejecutar por uno o más procesadores de datos en el sistema 300 o un ordenador unido para realizar determinaciones de inventario basadas en imágenes capturadas. Un dispositivo de memoria no volátil del sistema 300 almacena información que identifica una relación entre cada ubicación de almacenamiento conocida en el cajón y su correspondiente objeto designado previamente. El dispositivo de memoria también almacena las ROI predefinidas correspondientes a cada herramienta e información de firma de imagen de referencia en relación con las ROI o las herramientas. Uno o más procesadores de datos determinan qué ubicaciones de almacenamiento en un cajón están ocupadas por su correspondiente herramienta designada previamente y qué las ubicaciones de almacenamiento en el cajón no están ocupadas por sus correspondientes herramientas designadas previamente. La identidad de una o más herramientas existentes y/o faltantes se determina en base a la relación almacenada que identifica cada ubicación de almacenamiento y sus correspondientes objetos designados previamente. El sistema también determina si una herramienta está fuera de lugar o si hay una herramienta incorrecta en la ubicación de almacenamiento.

Ahora se describen los detalles del reconocimiento de imágenes y la determinación del inventario.

Un sistema de almacenamiento de herramientas ejemplar según esta invención utiliza un enfoque único para realizar el reconocimiento de imágenes, lo que reduce drásticamente la cantidad de datos necesarios y requiere científicamente menos potencia informática y tiempo para realizar los cálculos necesarios.

(1) Creación de datos de referencia

Como se discutió anteriormente, el sistema 300 ejemplar determina una condición de inventario de herramientas en base a firmas derivadas en base a imágenes capturadas y firmas de imágenes de referencia de herramientas y recortes de herramientas. Esta descripción propone un enfoque eficiente y único en la generación de archivos de las firmas de imágenes de referencia.

Con el fin de procesar adecuadamente de manera eficaz y eficiente las imágenes capturadas por las cámaras, el sistema 300 necesita tener acceso a la información que describe los datos de referencia, incluyendo las firmas de imagen de referencia de las ROI predefinidas en conexión con cada herramienta; e información que incluye identidades de herramientas, ubicaciones de herramientas, ubicaciones de recortes en cada cajón, perfiles de recortes, definiciones de siluetas de herramientas, definiciones de recortes de dedos, canales entre siluetas de herramientas, definiciones de posiciones de herramientas en cada cajón en relación con una característica conocida de la espuma, descripciones de herramientas, números de referencia y cualquier información que sea útil para realizar el reconocimiento de imágenes. La información se conoce colectivamente como datos de referencia.

Un sistema ejemplar según esta descripción genera datos de referencia de una manera altamente automatizada utilizando archivos de datos existentes llamados archivos de recorte. Los archivos de recorte se crean durante la fabricación de capas de espuma con recortes de perfil de herramienta para su uso en sistemas de almacenamiento de herramientas. Estos archivos de recorte típicamente son de un formato estándar de la industria, tal como el formato .dxf, e incluyen información sobre los recortes de perfil de herramienta para cada cajón y una posición relativa de cada herramienta en el cajón. Los archivos de recorte utilizados en la creación de las capas de espuma del cajón también proporcionan información útil adicional, incluyendo el cajón donde se está almacenando cada herramienta, los números de referencia de las herramientas, los números de serie nacionales, los números de referencia del fabricante, los números de serie de las herramientas, las descripciones de las herramientas, etc.

Por ejemplo, un programa de software llamado True Fit de Snap-on Incorporated incluye una base de datos de siluetas de herramientas y datos relacionados con cada herramienta. Cuando se hacen capas de espuma 180 con recortes de herramientas 181 para utilizar en sistemas de almacenamiento de herramientas, un técnico de diseño de espuma crea un diseño de espuma para cada cajón 330 según una lista maestra de herramientas que incluye todas las herramientas a ser incluidas en los sistemas de almacenamiento de herramientas para un pedido o cliente específico. La lista se puede crear por representantes de ventas y/o clientes. El programa True Fit, cuando se ejecuta por un ordenador, genera archivos de recorte que incluyen diseños de espuma para cada cajón 330 en base a la lista maestra de herramientas y datos prealmacenados con respecto a cada herramienta en una base de datos. El archivo de recorte incluye información de cada recorte, tal como formas y tamaños, lista de herramientas e información de posición de cada recorte en cada cajón. En una realización, la información de posición incluye información de coordenadas de cada recorte en relación con un sistema de coordenadas común de cada cajón. Luego, el técnico recorta las espumas según el diseño de espuma utilizando un cortador de chorro de agua 2D o una herramienta de mecanizado 3D.

Adaptando los archivos de recorte utilizados en el desarrollo de espuma, tales como archivos .dxf, a datos de referencia para su uso en el reconocimiento de imágenes, el sistema de almacenamiento de herramientas ahora tiene acceso a datos relacionados con la posición exacta de cada herramienta en cada cajón, junto con la forma de los recortes y otra información útil, tal como el número de herramienta, el número de serie, etc. Este proceso elimina el requisito de introducir manualmente cada herramienta en el inventario del sistema de almacenamiento de herramientas, y también proporciona información precisa acerca de la ubicación de cada herramienta en cada cajón y los datos asociados a cada herramienta. La información adicional derivada de este proceso puede incluir firmas de imágenes de referencia y otros atributos de la herramienta, tales como color, tamaño, forma, área, centroide, momento de inercia del área, radio de giro, dimensiones específicas (tales como la abertura de la llave, el diámetro de la llave de tubo, la longitud del destornillador, etc.). Por lo tanto, cuando se cargan los datos de referencia, también son accesibles los atributos de cada herramienta por el sistema de almacenamiento de herramientas.

(2) Regiones de interés

Con el fin de mejorar la eficiencia del procesamiento de datos, para cada imagen de cajón capturada, el sistema 300 ejemplar, en lugar de procesar la imagen completa, realiza el reconocimiento de imágenes enfocándose en regiones de interés (ROI) predefinidas, que son subconjuntos de la imagen capturada y, por lo tanto, incluyen muchos menos datos requeridos para el procesamiento. Según una realización, cada herramienta tiene una o más ROI predefinidas. Como se discutió anteriormente, una ROI puede cubrir o superponer parte o todo el recorte de la herramienta 181, o no cubrir o superponer el recorte de la herramienta 181 en absoluto.

El área de interés se puede describir mediante una o más ubicaciones de recorte en un sistema de coordenadas, perfiles de recorte, definiciones de siluetas de herramientas, definiciones de recortes de dedos, canales entre siluetas de herramientas, definiciones de posiciones de herramientas en cada cajón en relación con una característica conocida de la espuma, descripciones de las herramientas, números de referencia y cualquier información que sea útil para realizar el reconocimiento de imágenes.

(3) Proceso de entrenamiento

Se lleva a cabo un proceso de entrenamiento computarizado para adaptar los archivos de recorte a datos de referencia útiles mediante un sistema de almacenamiento de herramientas ejemplar. Los pasos ejemplares del proceso de capacitación se describen a continuación:

a. Leer la información de la herramienta del archivo de recorte de espuma

Este paso lee y carga un archivo de recorte que contiene datos de herramientas, incluyendo posiciones de herramientas, siluetas, colores de espuma, colores de fondo, atributos y otros datos.

Este paso también escala la imagen tanto horizontal como verticalmente para convertir el formato dimensional utilizado en la creación del archivo de recorte a píxeles que se utilizan en la cámara y el sistema basado en imágenes. Típicamente, hay alrededor de 8 a 10 píxeles por punto. Para hacer esta conversión se utiliza un archivo de conversión de software con la codificación adecuada.

b. Crear estructura de datos de ubicación de herramientas

Las ROI se determinan utilizando el diseño de espuma mediante el procesamiento de áreas relacionadas con las formas y posiciones de los recortes de herramientas. Una esquina de la imagen general se define como un origen. Luego, se determina una posición de un recuadro delimitador dentro de la imagen. La ROI está dentro del recuadro delimitador y está determinado por el número de fila y columna dentro del recuadro delimitador. Cualquier píxel dentro del recuadro delimitador que contenga una parte de la ROI se detalla como pares ordenados con la esquina superior izquierda del recuadro delimitador como origen. A continuación se proporciona una estructura de datos ejemplar de la ROI:

Drawer.sl.dl / / Nombre de cajón

96 ¡i ^resolución

Silhouette TMCOI6 / / Número de referencia

TOOL BOX_ED 1051 ¡! ^{Id de recuadro de herramienta}

DRAWER 01 / / N° de cajón

POSFTÍON S-0058 / / Posición

DESCRIPTION Wrench, Crowfoot, Opea End, 1/2" // Descripción

ULC 15862379 ¡1 ^{Recuadro delimitador (superior}

Comer) izquierdo

LRC 16872499 // Recuadro delimitador (inferior derecho Comer)

122 58 //datos de píxel (Dentro del recuadro

121 60 delimitador por número de secciones

220 6295 20 discretas dentro de la fila,

219 639622 desplazamiento y ancho (Sancho de

píxeles)

21964 9520

11866

11768

116 70

116 70

c. Determinar qué cámara procesa la herramienta

En un sistema de almacenamiento de herramientas ejemplar que utiliza 4 cámaras o seis cámaras para capturar imágenes de cajón, cada cámara tiene un campo de visión (FOV) amplio de 40 grados, con 20 grados del FOV a cada lado de la línea central de la imagen. Las imágenes de una cámara a otra pueden superponerse. Dependiendo de la posición del cajón, la superposición puede ser pequeña, como en el cajón superior, o grande, como en el cajón inferior, donde cada cámara puede ver todo el cajón. Las herramientas y sus ROI asociadas se asignan a las cámaras determinando la posición del centroide de cada ROI de herramienta y asignando la ROI respectiva a una cámara que tenga una línea central de FOV más cercana a la ROI.

Si una ROI se expande y converge en más de una cámara, la ROI se divide en partes y se asigna a cámaras individuales como se esbozó anteriormente.

d. Crear zona de dilatación y zona de amortiguamiento para herramientas

En ciertas situaciones, una imagen capturada relacionada con una herramienta puede desviarse de los datos de referencia, incluso cuando la herramienta se coloca en su ubicación de almacenamiento o recorte correspondiente. Por ejemplo, una herramienta puede sobresalir del borde del recorte de la herramienta, o se puede presionar fuertemente contra la espuma causando que la forma se comprima o deforme, o el recorte de la herramienta puede no estar en la posición exacta que se esperaba. Estas situaciones, si no se abordan adecuadamente, pueden hacer que un sistema de almacenamiento de herramientas desencadene falsas alarmas.

Para abordar estos problemas, un sistema ejemplar utiliza datos de imagen únicos para evaluar una condición de inventario de una herramienta. Como se muestra en la figura 5, se asignan una zona de dilatación y una zona de amortiguamiento alrededor de cada recorte de herramienta. La zona de amortiguamiento es un anillo anular creado alrededor del recorte de la herramienta e incluye un ancho ajustable, tal como un número de píxeles. Por ejemplo, una zona de amortiguamiento para un recorte de herramienta puede tener 5 píxeles que se expanden desde el límite del recorte de la herramienta. El ancho es arbitrario y depende del diseño del sistema. La zona de dilatación es un anillo anular alrededor de la zona de amortiguamiento y se le puede asignar un número ajustable de píxeles. Por ejemplo, la zona de amortiguamiento se puede expandir 5 píxeles lejos del límite exterior de la zona de amortiguamiento. El ancho es arbitrario y depende del diseño del sistema.

En una realización, los datos de imagen relacionados con la zona de amortiguamiento se ignoran en la evaluación de la imagen, mientras que los datos de imagen relacionados con la zona de dilatación se evalúan para atributos tales como color, intensidad, tono y saturación, etc. Estos datos se utilizarán más adelante en la evaluación de situaciones en las que algo se encuentra sobre el borde del recorte de la herramienta, lo que indica que se ha colocado una herramienta incorrecta en la ubicación de almacenamiento o recorte, o que la herramienta correcta se ha colocado incorrectamente en la ubicación de almacenamiento o recorte y está fuera de posición, o hay algo que cubre al menos parte de la zona de amortiguamiento. Se emitirá una advertencia para el usuario y el administrador cuando esto ocurra,

4. Reconocimiento de imágenes basado en firmas de imágenes

Cada imagen incluye atributos que representan características únicas de la imagen. Estos atributos incluyen color, tamaño, forma, ancho, alto, profundidad, silueta o perfil, gravedad específica, peso, diámetro, reflectividad, densidad, propiedades térmicas, viscosidad, dimensiones, textura, acabado superficial, etc. Un sistema ejemplar según esta invención utiliza un enfoque único para extraer información representativa de cada ROI de la imagen capturada. Esta información extraída describe únicamente los atributos de la ROI y se denomina firma de imagen de la ROI.

Como se discutió anteriormente, un dispositivo de almacenamiento no volátil en el sistema 300 almacena datos relacionados con la ROI predefinida cuyos datos de imagen requieren procesamiento por el sistema 300. Una tabla de búsqueda almacenada previamente puede ser para identificar cada herramienta, su información de recorte correspondiente, y las ROI preseleccionadas cuyos datos de imagen son útiles para determinar una condición de inventario de la herramienta. Se determina una condición de inventario con respecto a una herramienta en base a la firma de imagen de cada ROI asociada con la herramienta que se deriva en base a las imágenes capturadas y las firmas de imágenes de referencia. Dado que solo se utiliza la firma de imagen, no los datos de la imagen sin procesar, al determinar una condición de inventario, la eficiencia en el procesamiento de señal y la transmisión de datos se mejora significativamente.

Ahora se describe el proceso para generar una firma de imagen para una imagen. Se describe una firma de imagen de muestra que utiliza el tono y la saturación de la imagen. Se pueden idear otras firmas que utilizan varios atributos de imagen que también se podrán utilizar para determinar la presencia, ausencia o identificación de artículos en el sistema de inventario.

A continuación se proporciona un algoritmo ejemplar para el proceso:

Conversión de RGB (rojo, verde, azul) a IHS (intensidad, tono, saturación)

I = (r g b) / 3

Si r, g y b son todos iguales, entonces h y s = 0

de otro modo

Permitamos:

u = (2 * r) - g - b

v = sqrt (3) * (g - b)

Entonces:

h = arctan (v/u)

si (h<0), añadir 1 a h, así 0 <= h <= 1

s = sqrt (u2 v2) / (Máxima saturación para esta intensidad y tono)

Las estructuras relevantes son:

typcdcfsíract{

BYTE hue;

BYTE saturaron;

BYTE míensity;

BYTE pcrcent;

} PP.COLOR;

typedef struct {

BOOL partíalRoi;

PP_ COLOR rayColors[5 J;

PP_COLOR foarn[5];

j PP SXGÑATURE;

El sistema ejemplar procesa datos de píxeles en las ROI correspondientes a cada recorte de herramienta y su zona de dilatación circundante. El valor de RGB de cada píxel se convierte en un valor IHS (intensidad, tono, saturación). Un sistema ejemplar determina las características de distribución de los atributos de imagen de la imagen capturada. Por ejemplo, se crea un histograma que describe una distribución de número de píxeles con respecto a varios atributos de imagen como valores de intensidad, tono y/o saturación.

En una realización, para los píxeles de la imagen con valores de intensidad por debajo y por encima de los umbrales bajo y alto predefinidos (por ejemplo, 0,2 y 0,8, respectivamente), su tono y saturación se ignoran ya que no son fiables y se establecen en cero. Estos píxeles se acumulan en dos contenedores separados.

Para píxeles con valores de intensidad entre los valores de umbral, sus valores de intensidad se ignoran porque se ven influenciados con demasiada facilidad por factores de intensidad de iluminación variable. Para estos píxeles, los valores de tono y saturación se acumulan en los contenedores de un histograma 2D (tono-saturación). Cada contenedor representa un conjunto de valores preestablecidos de tono y saturación en el histograma.

Luego, el histograma 2D se examina en base a las distribuciones de números de píxeles para encontrar el contenedor con la mayor cantidad de píxeles. Los contenedores adyacentes al contenedor con la mayor cantidad de píxeles se incluyen hasta que el recuento de píxeles de un contenedor cae por debajo de una fracción predefinida del recuento de píxeles en el contenedor pico. Por ejemplo, la fracción predefinida se puede establecer como 0,5. La intensidad, el tono y la saturación promedio de los contenedores seleccionados se calculan y se introducen en los bytes de la estructura PP_COLOR.

El miembro de porcentaje de la estructura PP_COLOR es el porcentaje de todos los píxeles en la ROI que estaban en este grupo de contenedores. Los contenedores de este grupo se ignoran luego en cualquier procesamiento adicional y el proceso se repite para encontrar el siguiente grupo de contenedores tal. Este proceso se repite hasta que se encuentra un número predeterminado de grupos de contenedores.

El número de píxeles en los dos contenedores separados de baja y alta intensidad también se examina en cada paso, y estos contenedores pueden representar una de las estructuras PP_COLOR en la estructura PP_SIGNATURE.

De esta manera, se completa la estructura de una firma de imagen de ROI (PP_SIGNATURE), con datos descriptivos para los cinco grupos de colores de píxeles más poblados. La estructura PP_COLOR para la zona de dilatación alrededor de la herramienta en la estructura PP_SIGNATURE se calcula de manera parecida. El uso de cinco colores para la firma es solo un ejemplo y se puede utilizar cualquier número de colores para la firma.

Se realiza un proceso similar para las siguientes imágenes de línea de base:

Recortes de herramientas / Sin herramienta en la ROI;

Recortes de herramientas / herramienta en la ROI; y

Zona de dilatación.

Las firmas de imágenes de referencia se adquieren una vez, como parte de un procedimiento de configuración. Se pueden adquirir firmas de referencia para cada recorte de herramienta cuando se sabe que está presente la herramienta correcta, para cada recorte de herramienta cuando se sabe que está ausente la herramienta, para la zona de dilatación cuando se sabe que está presente la herramienta correcta y para la zona de dilatación cuando se sabe que la herramienta está ausente. Luego, en funcionamiento normal, el sistema adquiere datos de firma para una ROI de una imagen capturada y los compara con los datos de la herramienta que se sabe que no está presente, los datos de la herramienta que se sabe que está presente. Las firmas de imagen de referencia pueden relacionarse solo con una herramienta en particular y no con el cajón de herramientas. Las firmas de imágenes de referencia se pueden generar de forma independiente para cada herramienta y se pueden almacenar en una base de datos. Por lo general, esto se realiza mediante la captura de imágenes de un recorte de herramienta con y sin la herramienta en su lugar. La imagen de solo la herramienta y el recorte de la herramienta se procesa para extraer las firmas de imagen de referencia para todas las condiciones definidas de presencia de la herramienta. Las firmas de imágenes de referencia se pueden extraer de la base de datos e incorporar en el sistema de gestión de inventario de modo que nunca se requiera una imagen de referencia del cajón de herramientas real. Además, las firmas de imágenes de referencia se pueden generar sin capturar ninguna imagen. Los parámetros conocidos de la espuma, el recorte de la herramienta y la herramienta asociada, tales como los colores y las dimensiones, se utilizan de forma manual o programática para generar atributos de imagen que definen las firmas de imagen de referencia para el recorte de la herramienta y la herramienta.

Una condición de inventario relacionada con una ROI se determina en base a las firmas de imagen de las ROI en la imagen capturada y las firmas de imagen de referencia.

Si la firma de imagen de una ROI de recorte de herramienta coincide con la firma de imagen de referencia cuando la herramienta no está presente dentro de un porcentaje de tolerancia preestablecido, entonces se determina que falta la herramienta en la ROI y, por tanto, está entregada o en uso. Por otro lado, si la firma de imagen de una ROI de recorte de herramienta coincide con la firma de imagen de referencia cuando la herramienta está presente dentro de un porcentaje de tolerancia preestablecido, entonces se determina que el elemento está presente en la ROI. El porcentaje de tolerancia utilizado para determinar la presencia o ausencia de herramienta es ajustable. Se puede seleccionar empíricamente un valor adecuado según una preferencia de diseño.

El examen de la firma de imagen de la ROI de la zona de dilatación en comparación con las firmas de imagen de referencia correspondientes a la ROI de la zona de dilatación se puede utilizar para determinar condiciones más allá de solo si una herramienta está presente o falta. Por ejemplo, si una herramienta no se coloca correctamente en su recorte correspondiente o si se coloca una herramienta incorrecta en el recorte de herramienta, parte de la herramienta puede estar fuera del recorte y en la zona de dilatación. Además, un objeto inesperado, tal como un trapo o una herramienta adicional, se podría colocar en el cajón y bloquear parte de una zona de dilatación de un recorte de herramienta. La firma de la ROI de la zona de dilatación no coincidiría con su firma de imagen de referencia, y el sistema determinaría que existe una condición desconocida en el compartimento de almacenamiento. En este caso, se podría generar una alerta para indicar que la ubicación de almacenamiento relevante se debería comprobar manualmente para corregir la anomalía

Si la firma de imagen de una ROI no coincide con las firmas de imagen de referencia dentro de un porcentaje de tolerancia preestablecido, entonces se determina que ha tenido lugar un error o una excepción y se da una alerta al usuario y al administrador del sistema a través del PC y los sistemas de GUI del equipo. La alerta de error podría ser por una herramienta incorrecta, una herramienta extraviada, un artículo desconocido en múltiples ROI, etc. En una realización, la firma del elemento en la ROI de recorte de herramienta se podría comparar con una base de datos de todas las herramientas en el cajón, en el armario de almacenamiento o conocer globalmente. A partir de esta comparación, la herramienta particular almacenada en el recorte de herramienta se puede determinar e informar al sistema de inventario. En un sentido amplio, esta técnica se puede utilizar para identificar todas las herramientas en un cajón sin saber qué herramientas deberían estar en el cajón o dónde se deberían colocar.

En una realización, cada firma de imagen se trata como un vector. Se calcula la similitud entre la firma de imagen de la ROI correspondiente a la imagen capturada y la firma de imagen de referencia del mismo elemento cuando se sabe que la herramienta no está presente. Por ejemplo, la similitud se puede determinar en base a una distancia entre dos vectores calculada de maneras conocidas. Además, se calcula la similitud entre la firma de imagen de la ROI correspondiente a la imagen capturada y la firma de imagen de referencia del mismo artículo cuando se sabe que la herramienta está presente. Se determina que una herramienta no está presente si el nivel de similitud entre la firma de imagen de la ROI correspondiente a la imagen capturada y la firma de imagen de referencia del mismo elemento cuando se sabe que la herramienta no está presente es mayor que el nivel de similitud entre la firma de imagen de la ROI correspondiente a la imagen capturada y la firma de imagen de referencia del mismo elemento cuando se sabe que la herramienta está presente. De lo contrario, se determina que la herramienta está presente.

En otra realización, cada uno de los grupos de píxeles más poblados en la firma de imagen de la ROI correspondiente a la imagen capturada se compara con su contraparte de la firma de imagen de referencia del mismo elemento cuando se sabe que la herramienta no está presente, la firma de imagen de referencia del mismo elemento cuando se sabe que la herramienta está presente, respectivamente. Se determina un valor de GOF (bondad de ajuste) a partir de las coincidencias y los porcentajes de las firmas. Por ejemplo, el valor de GOF se puede definir como una acumulación de min (porcentaje_de_ROI_capturada, porcentaje_de_referencia) correspondiente a cada entrada en la firma. El porcentaje acumulado se compara luego con un valor umbral. Si el valor de GOF con respecto a la firma de referencia cuando la herramienta está presente está por encima del valor umbral, se determina que la herramienta está presente. Si el valor de GOF con respecto a la firma de referencia cuando la herramienta no está presente está por encima del valor umbral, se determina que la herramienta no está presente. Si los valores de GOF con respecto a la firma de referencia cuando la herramienta está presente están por encima del valor umbral y la firma de referencia cuando la herramienta no está presente están por debajo del valor umbral, se clasifica como una condición peculiar y se desencadenará o presentará una señal de advertencia Tal condición peculiar se puede causar por una herramienta que sobresale, un recorte deformado o una herramienta incorrecta colocada en el recorte.

Ocasionalmente, una parte significativa de los atributos de una herramienta puede coincidir con los atributos del fondo y dificultar la detección de presencia o ausencia. En estos casos, el elemento se puede dividir en múltiples ROI. Las áreas con atributos de ROI que coincidan con el fondo se ignorarán y solo se evaluarán aquellas áreas con atributos de ROI diferentes a los atributos del fondo.

Se puede crear una tabla de búsqueda de firmas de referencia de imagen correspondientes a cada elemento de inventario durante un proceso de fabricación y precargar en el sistema de almacenamiento de herramientas. En la configuración del sistema, se puede cargar una base de datos completa de firmas de imágenes de referencia en cada sistema junto con los ROI, números de referencia y descripciones, y otros datos en la base de datos de la herramienta.

Otra característica de un sistema de almacenamiento de herramientas ejemplar según esta descripción es la adición/eliminación automática de elementos. Este es un proceso mediante el cual el sistema está configurado para reconocer nuevas herramientas y añadirlas a la base de datos o eliminar herramientas que ya no son necesarias o útiles de la base de datos.

El mismo tipo de archivos de datos utilizados para crear los recortes de espuma y los datos de referencia se utilizan en la modificación de los diseños de cajones existentes para añadir o eliminar herramientas. El archivo se carga luego en la memoria del sistema y se cambia la espuma. El sistema reconoce automáticamente que hay una herramienta o herramientas nuevas en (o eliminadas) de la base de datos y que la ubicación de almacenamiento o recorte especificados ahora está en su lugar (o eliminada).

Se ha determinado que la ubicación precisa de una ROI correspondiente a la imagen y su recorte de herramienta asociado en la espuma puede variar ligeramente de la posición que se calcula en los archivos de entrenamiento y carga de la herramienta. Con el fin de compensar esta posible diferencia en las posiciones real y calculada, se proporcionan orificios en la capa de espuma para verificar la posición. Estas posiciones de los orificios están relacionadas con la posición de las tiras de seguimiento y posicionamiento del cajón y proporcionan verificación de las posiciones reales de las ROI y los recortes de herramientas en la espuma del cajón.

Una realización no reivindicada según esta descripción utiliza un identificador especialmente diseñado para determinar una condición de inventario de objetos. Dependiendo de si una ubicación de almacenamiento está siendo ocupada por un objeto, un identificador asociado aparece en una de dos maneras diferentes en una imagen capturada por el dispositivo de detección de imágenes. Por ejemplo, un identificador puede aparecer en un primer color cuando la ubicación de almacenamiento asociada está ocupada por una herramienta y en un segundo color cuando la ubicación de almacenamiento asociad está desocupada. Los identificadores pueden ser textos, códigos de barras unidimensionales o bidimensionales, patrones, puntos, códigos, símbolos, cifras, números, LED, luces, banderas, etc., o cualquier combinación de los mismos. Las diferentes maneras en que un identificador puede aparecer en una imagen capturada por el dispositivo de detección de imágenes incluyen imágenes con diferentes patrones, intensidades, formas, figuras, colores, etc. En base a cómo aparece cada identificador en una imagen capturada, el procesador de datos determina una condición de inventario del objeto.

La figura 6a muestra una realización no reivindicada de diseños de identificadores. Como se muestra en la figura 6a, la ubicación de almacenamiento 511 está diseñada para almacenar la herramienta 510, y la ubicación de almacenamiento 52 está ocupada actualmente por su herramienta 520 designada. La ubicación de almacenamiento 53 no está ocupada por su herramienta designada. Cada ubicación de almacenamiento 51, 52, 53 tiene un identificador asociado. Dependiendo de si cada ubicación de almacenamiento 51-53 está siendo ocupada por una herramienta correspondiente, cada identificador aparece en una imagen capturada por las cámaras 310 de una de dos maneras diferentes. Por ejemplo, cada identificador puede no ser visible por las cámaras 310 cuando una herramienta correspondiente está almacenada en la ubicación de almacenamiento respectiva, y llega a ser visible por las cámaras 310 cuando un objeto no está almacenado en la ubicación de almacenamiento respectiva. De manera similar, una realización diferente no reivindicada puede tener un identificador visible por el dispositivo de detección de imágenes cuando un objeto está almacenado en la ubicación de almacenamiento respectiva, y no es visible por el dispositivo de detección de imágenes cuando un objeto no está almacenado en la ubicación de almacenamiento respectiva.

Por ejemplo, la parte inferior de las ubicaciones de almacenamiento 51-53 incluye un identificador hecho de material retrorreflectante. Dado que las ubicaciones de almacenamiento 51 y 53 no están ocupadas por sus respectivas herramientas designadas, sus identificadores 511 y 513 asociados son visibles para el dispositivo de detección de imágenes. Por otro lado, la ubicación de almacenamiento 52 está actualmente ocupada por su herramienta designada, su identificador está bloqueado de la vista del dispositivo de detección de imágenes. Cuando la herramienta particular se almacena en la ubicación de almacenamiento, el identificador se bloquea de la vista del dispositivo de detección de imágenes y no es visible por el dispositivo de detección de imágenes. Por otro lado, si la ubicación de almacenamiento no está ocupada por la herramienta particular, el identificador es visible por el dispositivo de detección de imágenes y aparece como un área de alta intensidad en una imagen del cajón. En consecuencia, un área de alta intensidad representa una herramienta que falta. El sistema 300 detecta ubicaciones con herramientas que faltan y correlaciona las ubicaciones vacías con la relación almacenada identificando cada ubicación de almacenamiento y sus herramientas correspondientes. El sistema 300 determina qué herramientas no están en sus ubicaciones especificadas en un cajón. Se entiende que los identificadores se pueden implementar de muchas maneras diferentes. Por ejemplo, los identificadores se pueden diseñar para crear una imagen de alta intensidad cuando una ubicación de almacenamiento está ocupada y una imagen con menor intensidad cuando la ubicación de almacenamiento está ocupada.

En una realización no reivindicada, cada identificador se implementa con un sensor de contacto y un LED. Como se muestra en la figura 6b, la ubicación de almacenamiento 61 está asociada con un sensor de contacto 62 y un LED 63. Cuando el sensor de contacto 61 detecta que una herramienta está en la ubicación de almacenamiento 61, se genera una señal por el sensor de contacto 61 y los controles para apagar el suministro de energía al LED 63. Por otro lado, si el sensor de contacto 62 detecta que una herramienta no está en la ubicación de almacenamiento 61, el sensor de control 62 genera una señal de control que se controla para encender el LED 63, lo que crea un área de alta intensidad en una imagen capturada por el dispositivo de detección de imágenes. Cada área de alta intensidad en una imagen indica una ubicación de almacenamiento sin una herramienta asociada. El sistema 300 identifica herramientas retiradas o que faltan determinando qué ubicaciones de almacenamiento no están ocupadas por herramientas e información prealmacenada que identifica las herramientas correspondientes de las ubicaciones. Todavía en otra realización no reivindicada, el identificador es único para la herramienta designada previamente almacenada en cada ubicación de almacenamiento respectiva. El procesador de datos está configurado para determinar una condición de inventario evaluando si existe al menos un identificador visible en una imagen de las ubicaciones de almacenamiento capturadas por el dispositivo de detección de imágenes, y la relación prealmacenada entre cada objeto predesignado y un identificador respectivo único para cada objeto predesignado.

Todavía en otra realización no reivindicada, un identificador asociado con una ubicación de almacenamiento crea una imagen de alta intensidad cuando la ubicación de almacenamiento está ocupada, y una imagen de menor intensidad cuando la ubicación de almacenamiento está desocupada. El sistema 300 determina qué herramientas existen en base a identificadores detectados e información prealmacenada que identifica una relación entre cada ubicación de almacenamiento y el objeto predesignado correspondiente. En otra realización no reivindicada, el identificador es único para un objeto designado previamente almacenado en cada ubicación de almacenamiento respectiva. El sistema 300 determina una condición de inventario de objetos existentes mediante la evaluación de identificadores que existen en una imagen de las ubicaciones de almacenamiento capturadas por el dispositivo de detección de imágenes, y la relación almacenada previamente entre cada objeto designado previamente y un identificador respectivo único para cada objeto designado previamente.

Todavía en otra realización no reivindicada, cada objeto almacenado en el sistema 300 incluye un identificador unido único para cada objeto. El procesador de datos tiene acceso a información almacenada previamente que identifica cada herramienta almacenada en el sistema e información conocida que identifica una relación entre cada objeto y un identificador respectivo único para cada objeto designado previamente. El procesador de datos determina una condición de inventario de objetos evaluando los identificadores que existen en una imagen de las ubicaciones de almacenamiento capturadas por el dispositivo de detección de imágenes y la relación entre cada objeto predesignado y un identificador respectivo único para cada objeto predesignado. Por ejemplo, el sistema 300 almacena una lista de herramientas almacenadas en el sistema y sus correspondientes identificadores únicos. Después de que las cámaras 310 capturen una imagen de un cajón de almacenamiento, el procesador de datos determina qué identificador o identificadores están en la imagen. Comparando los identificadores que aparecen en la imagen con la lista de herramientas y sus identificadores únicos correspondientes, el procesador de datos determina qué herramientas están en el sistema y cuáles no.

Como se discutió anteriormente, los identificadores asociados con las ubicaciones de almacenamiento se pueden utilizar para determinar en qué ubicaciones faltan objetos. Según una realización no reivindicada, el sistema 300 no necesita conocer la relación entre cada ubicación de almacenamiento y el objeto correspondiente. Más bien, cada identificador es único para un objeto correspondiente almacenado en la ubicación de almacenamiento. El procesador de datos del sistema 300 tiene acceso a información almacenada previamente que identifica una relación entre cada identificador y el objeto correspondiente, e información que identifica cada objeto. En otras palabras, el sistema 300 tiene acceso a una lista de inventario de cada objeto almacenado en el sistema 300 y su respectivo identificador único. Cuando se detecta una ubicación de almacenamiento de herramientas vacía por el sistema 300, el identificador correspondiente se extrae de la imagen y se decodifica por el software del sistema. Como cada identificador es único para un objeto correspondiente, el sistema 300 es capaz de determinar qué objeto falta comprobando la relación entre cada identificador y el objeto correspondiente, y la lista de inventario de objetos. Cada identificador exclusivo de un objeto almacenado en una ubicación de almacenamiento se puede disponer junto a la ubicación de almacenamiento o en la ubicación de almacenamiento. En una realización no reivindicada, el identificador está dispuesto junto a la ubicación de almacenamiento y siempre es visible para el dispositivo de detección de imágenes sin importar si la ubicación está ocupada por un objeto o no. En otra realización no reivindicada, cuando un identificador está dispuesto en la ubicación correspondiente, el identificador no es visible para el dispositivo de detección de imágenes cuando la ubicación está ocupada por un objeto, y es visible para el dispositivo de detección de imágenes cuando la ubicación no está ocupada por un objeto.

Una realización no reivindicada de esta invención utiliza combinaciones de imágenes de línea de base e identificadores únicos de objetos para determinar un estado de inventario. Por ejemplo, una imagen de línea de base puede incluir información de un cajón de almacenamiento con todas las ubicaciones de almacenamiento ocupadas con sus respectivos objetos correspondientes, en donde cada ubicación de almacenamiento está asociada con un identificador único de un objeto almacenado en la ubicación de almacenamiento. Una condición de inventario se determina comparando una imagen de las ubicaciones de almacenamiento y la imagen de línea de base, para determinar qué ubicaciones están ocupadas por objetos y/o qué ubicaciones tienen objetos que faltan. Las identificaciones de los objetos que faltan se determinan identificando el identificador asociado con cada ubicación de almacenamiento con el objeto que falta.

Otra realización no reivindicada de esta invención utiliza combinaciones únicas de identificadores para determinar un estado de inventario. Por ejemplo, cada ubicación de almacenamiento puede tener un primer tipo de identificador dispuesto en la ubicación y un segundo tipo de identificador único para un objeto almacenado en la ubicación de almacenamiento y dispuesto junto a la ubicación de almacenamiento. El primer tipo de identificador es visible para un dispositivo de detección de imágenes cuando la ubicación no está ocupada por un objeto y no es visible por un dispositivo de detección de imágenes cuando la ubicación está ocupada por un objeto. El primer tipo de identificador puede estar hecho de material retrorreflectante. Si una ubicación de almacenamiento no está ocupada por un objeto correspondiente a la ubicación de almacenamiento, el identificador del primer tipo es visible por el dispositivo de detección de imágenes y aparece como un área de alta intensidad. En consecuencia, cada área de alta intensidad representa un objeto que falta, lo que permite que el sistema 300 determine qué ubicaciones tienen objetos que faltan. En base a identificadores del segundo tipo asociados con aquellas ubicaciones con objetos que faltan, el sistema 300 identifica qué objetos faltan en el sistema 300. En consecuencia, se determina una condición de inventario del sistema 300.

Según otra realización no reivindicada, el sistema 300 utiliza métodos de reconocimiento de imágenes para identificar un objeto que falta en el sistema 300. El sistema 300 tiene acceso a una lista de inventario que indica qué herramientas están almacenadas en cada cajón o sistema 300. Sin embargo, el sistema 300 no saber dónde se almacenan las herramientas. Las herramientas se colocan en ubicaciones de recorte de espuma específicas para cada herramienta. Utilizando características como tales el tamaño, la forma, el color y otros parámetros, el software de reconocimiento de imágenes identifica cada herramienta en el cajón. Las herramientas que faltan son simplemente las herramientas en la lista de inventario que no están identificadas como que están en el cajón.

El sistema 300 registra información de acceso relacionada con cada acceso. La información de acceso incluye tiempo, información de usuario relacionada con el acceso, duración, imágenes de usuario, imágenes de ubicaciones de almacenamiento, unidad de almacenamiento o contenido del sistema de almacenamiento, objetos en el sistema de almacenamiento, etc., o cualquier combinación de los mismos. En una realización, el sistema 300 incluye una cámara de usuario que captura y almacena la imagen de la persona que accede al sistema de almacenamiento 300 cada vez que se autoriza el acceso. Para cada acceso por un usuario, el sistema 300 determina una condición de inventario y genera un informe que incluye la asociación de la condición de inventario determinada con la información de acceso.

CAPTURA DE IMÁGENES TEMPORIZADA

Las realizaciones de esta descripción utilizan imágenes de máquinas temporizadas de manera única para capturar imágenes del sistema 300 y determinar una condición de inventario del sistema 300 según las imágenes capturadas. En una realización, el sistema 300 activa o temporiza la formación de imágenes de un cajón de almacenamiento en base a las ubicaciones y/o movimientos del cajón, con el fin de crear imágenes eficientes y efectivas. Por ejemplo, un procesador de datos del sistema 300 utiliza las posiciones de los cajones para determinar cuándo tomar imágenes parciales superpuestas como se discutió en relación con las figuras 4a-4e, para asegurar la cobertura completa de un cajón al que se accede por un usuario. En otro ejemplo, la información de la posición del cajón puede ser útil para el software de unión en la construcción de una imagen completa del cajón. La información de la posición del cajón se puede utilizar para ayudar a ubicar las posiciones de los recortes en el cajón.

En una realización, el procesador de datos del sistema 300 controla el dispositivo de detección de imágenes para formar imágenes de un cajón en base a una manera de movimiento especificada previamente por el cajón. Por ejemplo, para cada acceso, el sistema 300 solo toma imágenes del cajón cuando está moviéndose de una manera específica o en una dirección predeterminada. Según una realización, el dispositivo de detección de imágenes toma imágenes cuando un cajón está moviéndose en una dirección que permite disminuir el acceso a su contenido o después de que el cajón deja de moverse en la dirección que permite disminuir el acceso a su contenido. Por ejemplo, las cámaras se pueden controlar para tomar imágenes de cajones cuando un usuario está cerrando un cajón, después de que un cajón deja de moverse en la dirección de cierre o cuando el cajón está completamente cerrado. En una realización, no se toman imágenes cuando el cajón está moviéndose en una dirección que permite aumentar el acceso a su contenido, tal como cuando un cajón se mueve desde una posición cerrada a una posición abierta.

Las ubicaciones, los movimientos y las direcciones de movimiento de cada cajón de almacenamiento se pueden determinar utilizando sensores para medir la ubicación o sensores de movimiento en relación con el tiempo. Por ejemplo, la información de ubicación relativa a dos puntos en el tiempo se puede utilizar para derivar un vector que indica una dirección de movimiento.

Los ejemplos de sensores para detectar una posición, movimiento o dirección de movimiento de los cajones de almacenamiento incluyen un sensor o codificador unido a un cajón para detectar su posición con relación al marco del sistema 300; un sensor de medición de distancia sin contacto para determinar el movimiento del cajón con relación a alguna posición en el marco del sistema 300, tal como la parte posterior del sistema 300; etc. Los sensores sin contacto pueden incluir sensores ópticos o ultrasónicos. En cada cajón se puede incluir una escala o indicador visible que se puede ver por las cámaras 310, de manera que la cámara 210 pueda leer la escala para determinar la posición del cajón.

Un cambio en una condición de inventario, tal como la eliminación de herramientas, que ocurra en el acceso actual se puede determinar comparando las condiciones de inventario del acceso actual y el acceso inmediatamente antes al acceso actual. Si faltan uno o más objetos, el sistema 300 puede generar una señal de advertencia, tal como audible o visual, para el usuario, generar un aviso para un servidor remoto acoplado al sistema 300, etc.

En otra realización, el dispositivo de detección de imágenes está configurado para formar imágenes de las ubicaciones de almacenamiento cuando el cajón de almacenamiento 330 se mueve en una dirección que permite aumentar el acceso a su contenido, y cuando el cajón de almacenamiento 330 se mueve posteriormente en una dirección que permite disminuir el acceso a su contenido. Por ejemplo, cuando un usuario abre el cajón 330 para recuperar herramientas, la dirección de movimiento del cajón 330 desencadena las cámaras 310 para capturar imágenes del contenido del cajón cuando se mueve. La imagen capturada se puede designar como una imagen "antes del acceso" que representa un estado antes de que un usuario haya accedido al contenido de cada cajón de almacenamiento. Se determina una condición de inventario en base a las imágenes capturadas. Esta condición de inventario se considera una condición de inventario "antes del acceso". Las cámaras 310 dejan de capturar imágenes cuando el cajón 330 deja de moverse. Cuando el usuario cierra el cajón 330, la dirección de movimiento del cajón 330 desencadena las cámaras 310 para capturar imágenes de los cajones 330 nuevamente hasta que se detiene o alcanza una posición de cierre. Se determina una condición de inventario del cajón en base a las imágenes capturadas cuando el usuario cierra el cajón 330. Esta condición de inventario determinada se designa como una condición de inventario "después del acceso". Una diferencia entre la condición de inventario antes del acceso y la condición de inventario después del acceso indica una retirada o reemplazo de herramientas. Otras realizaciones de esta descripción controlan las cámaras para tomar la imagen "antes del acceso" antes de que se abra un cajón de almacenamiento o después de que el cajón de almacenamiento esté completamente abierto o cuando su contenido sea accesible para un usuario. Según otra realización, el dispositivo de detección de imágenes está temporizado para tomar una imagen de cada cajón 330 cuando se detecta que el acceso por un usuario se finaliza. Como se utiliza en la presente memoria en esta descripción, el acceso terminado se define como un usuario que ya no tiene acceso a ninguna ubicación de almacenamiento, tal como cuando el cajón 330 está cerrado o bloqueado, cuando la puerta 250 está cerrada o bloqueada, etc., o una indicación por el usuario o el sistema de que ya no desea acceder al sistema de almacenamiento, tal como cuando un usuario cierra sesión, cuando ha transcurrido un período de tiempo predeterminado después de la inactividad, cuando un dispositivo de bloqueo está bloqueado por un usuario o por el sistema 300, etc. Para cada acceso, se utiliza un detector de posición o sensor de contacto para determinar si el cajón 330 está cerrado. Después de que se cierra el cajón, el dispositivo de detección de imágenes captura una imagen del cajón 330. El sistema de procesamiento de datos determina entonces una condición de inventario en base a la imagen o imágenes capturadas. Se puede determinar una diferencia en la condición de inventario comparando la condición de inventario determinada del acceso actual con la del acceso anterior.

Según otra realización, para cada acceso, el sistema de detección de imágenes 300 está temporizado para capturar al menos dos imágenes del cajón 300: al menos una imagen (imagen inicial) capturada antes de que un usuario tenga acceso a las ubicaciones de almacenamiento en el cajón 300 y al menos una imagen capturada después de que se finaliza el acceso, como se discutió anteriormente. La imagen inicial se puede tomar en cualquier momento antes de que el usuario haya accedido a los contenidos o ubicaciones de almacenamiento en el cajón. En una realización, la imagen inicial se captura después de que un usuario solicita acceso al sistema 300, tal como deslizando una tarjeta de acceso, introduciendo una contraseña, insertando una llave en una cerradura, proporcionando información de autenticación, etc. En otra realización, la imagen inicial se captura antes o en respuesta a una detección de movimiento del cajón desde una posición cerrada o el desbloqueo de un dispositivo de bloqueo del sistema 300.

El sistema de procesamiento de datos del sistema 300 determina una condición de inventario en base a la imagen inicial y asigna la condición de inventario determinada como condición de inventario "antes del acceso"; y determinar una condición de inventario en base a la imagen capturada después de que se finalice el acceso y designe la condición de inventario determinada como condición de inventario "después del acceso". Se puede determinar un cambio en la condición de inventario de objetos en el sistema 300 en base a una comparación de las condiciones de inventario "antes del acceso" y "después del acceso" o una comparación de la imagen inicial y la imagen capturada después de que se finaliza el acceso.

Los conceptos y diseños descritos anteriormente pueden ser aplicables a otros tipos de sistemas de almacenamiento, tales como el tipo mostrado en la figura 1B, donde una sola puerta controla el acceso a múltiples estantes o cajones. En una realización, el dispositivo de detección de imágenes se puede temporizar para capturar imágenes de las ubicaciones de almacenamiento después de una terminación de acceso detectada, tal como cerrar la puerta 250, bloquear la puerta 250, cerrar sesión, etc. Se entiende que varios tipos de sensores, tales como sensores de contacto, sensores infrarrojos, se pueden utilizar para determinar cuándo se cierra una puerta. De manera similar a las discusiones anteriores, el dispositivo de detección de imágenes captura imágenes de las ubicaciones de almacenamiento y determina una condición de inventario "después del acceso" en base a la imagen capturada. Un cambio en la condición de inventario relacionado con el acceso comparando una condición de inventario del acceso actual y la del último acceso. Según otra realización, el dispositivo de detección de imágenes se temporiza para tomar imágenes "antes del acceso" de las ubicaciones de almacenamiento antes de que un usuario tenga acceso al sistema de almacenamiento. Por ejemplo, las cámaras se pueden temporizar para capturar imágenes de las ubicaciones de almacenamiento después de que un usuario solicite acceso al sistema, después de detectar la apertura de la puerta 250, después de recibir información de autenticación de un usuario, etc. El sistema de almacenamiento determina una condición de inventario "antes del acceso" en base a la imagen "antes del acceso". Un cambio en la condición de inventario se puede determinar según una diferencia entre las condiciones de inventario "antes del acceso" y "después del acceso", o una diferencia entre las imágenes "antes del acceso" y "después del acceso".

CALIBRACIÓN DE IMAGEN

Como se discutió anteriormente, se pueden utilizar múltiples cámaras para capturar imágenes parciales de un cajón. Tales imágenes se unen luego para formar una imagen completa de un cajón para procesamiento adicional. En consecuencia, con el fin de unir imágenes, es importante conocer las relaciones de posición relativas entre las imágenes parciales de manera que las imágenes parciales se puedan unir o combinarse correctamente. Además, el procesamiento de una imagen de una ROI se puede realizar en base a una imagen parcial siempre que la ROI completa esté dentro de la imagen parcial. Bajo tal circunstancia, es importante que un sistema de almacenamiento de herramientas sepa ubicar la ubicación correcta de una ROI de una imagen parcial, especialmente la imagen parcial se puede distorsionar, torcer o sesgar durante la captura de la imagen.

Una realización de esta descripción proporciona patrones de referencia no repetitivos conocidos en cada cajón. Por ejemplo, como se muestra en la figura 6a, un cajón está provisto de dos escalas A, B, C...S visibles que no se repiten en ambos lados del cajón. La información de las posiciones relativas de las escalas en el cajón se conoce y almacena en el sistema. En cualquier momento dado cuando se captura una imagen, siempre deben aparecer patrones de ambas escalas en la imagen capturada. Se puede utilizar solo una cámara o múltiples cámaras para capturar las imágenes. A medida que aumenta el ancho del cajón es más amplio, uno puede utilizar una cámara con una longitud de enfoque más corta. Sin embargo, tal cámara con una distancia de enfoque más corta reduciría la resolución de la imagen. Alternativamente, se puede utilizar más de una cámara separada o en ángulo para adquirir el ancho y la resolución del cajón deseado. Es posible utilizar una o más cámaras dedicadas a la visualización del patrón de escala, o utilizar la misma cámara que visualizará todo o parte del contenido del cajón.

Si, como se muestra en la figura 6b, se obtiene una imagen parcial del cajón mostrado en la figura 6a, cualquier ROI (región de interés) dentro de la imagen parcial mostrada en la figura 6b se puede determinar mediante la interpolación de la información de posición de referencia de recorte de la herramienta conocida dentro de las dimensiones de espuma conocidas e imágenes de la información de escala. A partir de la escala visible en la figura 6b, se reconoce fácilmente dónde está la imagen parcial en la imagen del cajón completo mostrada en la figura 6a. Sabiendo dónde está la imagen parcial en relación con el cajón completo, la imagen parcial se puede unir entre sí correctamente con otras imágenes parciales.

Además, la relación de a a b a c en la imagen parcial mostrada en la figura 6b es la misma que la relación x a y a z de la información del archivo de recorte almacenado como se muestra en la figura 6a. Con esta relación conocida, se puede determinar la ubicación de cualquier ROI correspondiente a la imagen parcial de la figura 6b.

Además, con dos o más patrones o escalas de referencia que siempre se pueden capturar por la cámara en un momento dado, incluso si cambia la perspectiva de la imagen, utilizando las posiciones relativas de los patrones o escalas de referencia en la imagen capturada y las relaciones conocidas del cajón, la imagen distorsionada se puede volver a escalar, rotar o ajustar para convertir la imagen distorsionada de nuevo para ajustarse a las relaciones conocidas. Por ejemplo, si se reduce la distancia entre las dos escalas en la figura 6b, el sistema es capaz de determinar un factor de expansión calculando una relación entre la distancia entre las escalas en la imagen capturada y la distancia conocida almacenada en el sistema. Este factor de expansión luego se aplica a la imagen capturada para convertir la imagen de nuevo a la normalidad.

Además, conociendo una posición de cada imagen parcial con respecto a todo el cajón, se puede determinar la velocidad de movimiento de un cajón. Por ejemplo, como se muestra en la figura 6c, se capturan dos imágenes parciales 1 y 2. Como se discutió anteriormente, en base a las imágenes de las escalas, el sistema puede determinar dónde está la imagen parcial en relación con el cajón completo haciendo referencia a los datos de referencia almacenados en el sistema. Dado que ahora se conoce la información de posición de las imágenes parciales 1 y 2, se puede determinar un desplazamiento (distancia A) entre la imagen parcial 1 y la imagen 2. El tiempo de viaje t es el tiempo entre dos imágenes capturadas que se pueden obtener de la cámara. Por lo tanto, la velocidad de desplazamiento del cajón es v = A/t.

La velocidad de movimiento del cajón se puede utilizar por el sistema para temporizar la formación de imágenes del cajón. A partir de la medición de la velocidad, el sistema puede anticipar cuándo se debería tomar siguiente imagen. Por ejemplo, si la velocidad del cajón es de 5"/seg (12,7 cm/seg) y las cámaras del sistema tienen una cobertura de imagen de 2" (5,08 cm), entonces el sistema puede determinar que necesitará tomar la siguiente imagen en 2/5 de segundo para no lograr superposición o espacio entre las imágenes. 1/5 de segundo proporcionaría una superposición de 1" (2,54 cm) entre imágenes consecutivas. Se puede determinar una aceleración del cajón móvil tomando la derivada de la velocidad del cajón y rastreando la aceleración del cajón para anticipar además cuándo tomar la siguiente imagen. En base a la información de velocidad y aceleración, el sistema puede conservar energía para el funcionamiento de la batería y/o acelerar el rendimiento del sistema temporizando adecuadamente la formación de imágenes del cajón sin capturar imágenes innecesarias.

Si el cajón se tuerce y/o se aleja de la cámara, la imagen en perspectiva girará y se distorsionará (sesgará) como se muestra en la figura 6d. Tal distorsión se puede detectar en base a una comparación de las imágenes capturadas de las escalas y la relación posicional conocida de las escalas en el cajón. Se puede obtener una corrección de la imagen distorsionada ajustando o rotando la imagen capturada para permitir que la imagen de escala capturada se superponga correctamente en la posición correcta de las escalas según los datos de referencia almacenados de las escalas (véase la figura 6e). Se entiende que cualquier patrón de referencia con amplias características bidimensionales, tal como un patrón de referencia con anchura suficiente, se puede utilizar para corregir la desviación o distorsión de la imagen de una manera similar. Siempre que ocurra una desviación o distorsión, las características bidimensionales del patrón de referencia diferirán de las características de los datos de referencia almacenados en el sistema. Se puede obtener una corrección de la imagen distorsionada ajustando o rotando la imagen capturada para permitir que la imagen del patrón capturado sea consistente con los datos de referencia almacenados.

Según una realización, un sistema ejemplar proporciona un patrón que llena una región de interés de la cámara para corregir las distorsiones. La distorsión requerida para cambiar la imagen del patrón a la imagen esperada del patrón se aplicaría entonces a todas las imágenes futuras. Por ejemplo, como se muestra en la figura 7a, un patrón conocido, tal como una cuadrícula de puntos con una separación de ^{/ / '} (1,27 cm) y formando una imagen esencialmente paralela al chip de la cámara. Ahora todas las distorsiones en el sistema óptico (lente, espejo...) se realizarán en la imagen capturada de la cuadrícula. Distorsionando la imagen capturada para convertir la imagen del patrón de cuadrícula en el patrón de cuadrícula conocido y esperado de / " (1,27 cm), se corrigen todas las distorsiones del sistema.

Ahora se describe un proceso detallado para la detección y compensación de distorsiones de formación de imágenes utilizando patrones de referencia conocidos.

1. Determinación de los centroides de patrones de referencia.

Una cámara adquiere una imagen digital de un plano que contiene una pluralidad de patrones de imagen identificables en ubicaciones conocidas en el plano. En la presente realización, se supone que el eje óptico de la cámara es normal al plano, y cada píxel de la imagen digital tiene un valor de rojo, verde y azul, cada uno entre 0 y 255. Estos tres valores se denominarán "color" o valor de "RGB" de un píxel. En la presente realización, los patrones conocidos son círculos de color uniforme, y el fondo circundante es de color uniforme, y el color del patrón de referencia es diferente al del fondo circundante.

En la presente realización, primero se calcula un valor suavizado para cada píxel de la imagen digital, y luego se calcula un "gradiente de color" para cada píxel suavizado de la imagen digital.

Los valores de RGB suavizados para el píxel en la columna y la fila de la imagen (x,y) se calculan utilizando el núcleo de suavizado 3x3:

de la siguiente manera:

smoothedPixel(x, y } =

( 1 * rawPixel(x—1,y-1) ) í 2 * rawPixel(x,y—1) ) { 1 A rawPixel(x+1,y-1} )

( 2 * rawPixel(x-1,y ) ) ( 4 * rawPixel(x,y ) ) { 2 * rawPixel(x+1,y ) )

( 1 * rawPixel(x-1,y+1) ) ( 2 * rawPixel(x,y+1) ) í 1 & rawPixel(x+1,y+1) )

donde "smoothedPixel" y "rawPixel" son los valores R, G o B, respectivamente.

El gradiente de color se calcula para cada píxel suavizado en la imagen digital utilizando los núcleos de filtro Sobel 3x3:

Núcleo para X:

- 1 0 1

-2 0 2

- 1 0 1

Núcleo para Y:

de la siguiente manera, donde s es "smoothedPixel":

gx =

g y =

( - 1 * s ( x - 1 , y - 15 ) ( - 2 * s(x,y-1j ) ( - 1 * s l , y - 1 ) ) 0 0 0

_{( 1} * s ( x - 1, y 1 ) ) ( 2 * s ( x , y 1 ) )+ ( 1 ■* s (x+1, y 1) ) gx y gy se calculan para R, G y B, y el cuadrado de la magnitud del gradiente de color en la posición de píxel x,y es entonces:

gradSq(x,y) = Suma de R, G y B [(gx * gx) (gy * gy)]

Si el color de un píxel suavizado y sus vecinos son similares, este gradiente de color será pequeño. Dado que el color del patrón es diferente al color de fondo que lo rodea, el gradiente de color de los píxeles en el límite del patrón y el fondo será mayor y, por tanto, los píxeles del límite se pueden identificar como aquellos píxeles que tienen un gradiente de color mayor que un valor umbral adecuadamente definido. En la presente realización, una región de píxeles encerrada por tal límite de píxeles, donde los parámetros de la región delimitada, tales como el tamaño y la forma, coinciden con los parámetros esperados de un patrón, se identifica como que es potencialmente uno de los patrones conocidos. Los centroides de tales regiones se calculan dividiendo la suma de los valores x o y de los píxeles en la región delimitada por el número de píxeles en la región delimitada. Si la distorsión del sistema de imágenes de un sistema ideal de "cámara estenopeica" no es demasiado grande, el patrón de las posiciones del centroide del patrón será el mismo que el del patrón conocido en el plano, y los patrones así medidos se pueden identificar individualmente con patrones individuales conocidos.

2. Determinación y corrección de la distorsión.

Permitamos que KXi y KYi sean las posiciones conocidas del patrón i, y permitamos que MXi y MYi sean el centroide medido de la región identificada como patrón i coincidente.

Permitamos que:

mxi = M * ( (eos (0) * KXi) - (sin(0) * KYi.) } DX myi = M * { (eos(0) * KYi) (sin(0) * KXi) ) DY M es un factor de aumento, 0 es un ángulo de rotación y DX y DY son compensaciones de traslación. M es la relación entre la separación conocida de las posiciones del patrón en el plano y la separación medida de las posiciones del patrón correspondiente en la imagen de la cámara, mientras que 0, DX y DY se calculan mediante la minimización por mínimos cuadrados de la suma de (mxi - MXi) al cuadrado más (myi - MYi) al cuadrado, sumado sobre todos los patrones coincidentes, dado que esta suma es una función de las variables 0, DX y DY, dado el conjunto de valores conocidos {KXi,KXi}, de los cuales el conjunto {mxi,myi} se calcula, y el correspondiente conjunto de valores medidos {Mxi,MYi}. mxi es entonces aproximadamente igual a MXi y myi es aproximadamente igual a Myi.

La distorsión se define entonces en la posición de píxel del patrón i como:

distorsiónXi = MXi-mxi

distorsiónYi = MYi-myi

La distorsión en cualquier posición de píxel en la imagen "ideal" o no distorsionada se calcula entonces mediante interpolación bilineal, utilizando las distorsiones (distorsiónXi, distorsiónYi) en las cuatro posiciones del centroide del patrón {mxi,myi} más cercanas a esa posición de píxel. De esta manera, el sistema calcula y tabula los valores de corrección de distorsión (distorsiónX, distorsiónY) en cada posición de píxel de imagen no distorsionada. Una vez que se han determinado los valores de corrección de distorsión tabulados para una cámara en particular, se pueden aplicar a cualquier imagen futura adquirida por esta cámara, para producir una imagen sin distorsiones. El valor de color para cada píxel en tal imagen no distorsionada se calcula tomando la posición x,y del píxel en la imagen no distorsionada, buscando los valores de distorsión (distorsiónX,distorsiónY) para el píxel en esta posición x,y en la tabla, para este x,y en la imagen no distorsionada, y obteniendo el valor de color del píxel en (x+distorsiónX, y+distorsiónY) en la imagen (distorsionada) capturada por la cámara. Estas correcciones se aplican a todas las imágenes futuras. Los puntos de la imagen a ser corregida que no se encuentran en un punto de la cuadrícula se pueden corregir utilizando una distorsión promedio de los puntos de cuadrícula más cercanos.

Según otra realización, un sistema de almacenamiento de herramientas ejemplar de esta invención utiliza patrones conocidos con relaciones posicionales predeterminadas entre ellos, o un patrón conocido que se extiende a lo largo de al menos dos cámaras para medir una posición de cámara relativa (RCP) entre las cámaras y utiliza esta RCP para unir imágenes futuras por al menos dos cámaras juntas.

No se describe un proceso para determinar una RCP entre dos cámaras. Dos cámaras, cuyas posiciones físicas y mecánicas una con relación a otra son fijas, cada una adquiere una imagen digital de parte de un plano que contiene una pluralidad de patrones de imagen identificables en ubicaciones conocidas en el plano. Las imágenes se corrigen por distorsión utilizando la técnica descrita anteriormente con respecto a la determinación y corrección de la distorsión". Los centroides de estos patrones conocidos se determinan luego mediante la técnica descrita en la sección que determina los centroides de los patrones. Un punto en el plano visible en ambos campos de visión de cámaras, tales como el centroide de un patrón particular, se proyectarán a la posición (x1, y1) en la imagen corregida (no distorsionada) de la primera cámara, y se proyectarán a la posición (x2, y2) en la imagen corregida (no distorsionada) de la segunda cámara. Se supone que los ejes ópticos de las dos cámaras son paralelos y que sus aumentos son los mismos.

Entonces (x1,y1) y (x2,y2) están relacionados por la siguiente transformada:

x2' = (eos (0í * xl) - (sin (0) * yl) dx y2' = (cosí©) * yl) (sin(0) * xl) .+ dy

donde 0 es un ángulo de rotación, y dx y dy son desplazamientos de traslación, que se calculan mediante la minimización por mínimos cuadrados de la suma de (x2i'-x2i) al cuadrado más (y2i' - y2i) al cuadrado, sumados sobre todos los patrones i visibles en ambos campos de visión de cámara, dado que esta suma es una función de las variables 0, dx y dy, dado el conjunto de valores {x1i,y1i}, a partir del cual se calcula el conjunto {x2i',y2i'}, y el correspondiente conjunto de valores {x2i,y2i}. x2i' es entonces aproximadamente igual a x2i e y2i' es entonces aproximadamente igual a y2i. Los parámetros 0, dx y dy definen entonces la transformada de RCP que relaciona el par de cámaras.

La transformada inversa es:

xl = (eos(01) * x2) - (sin (01) * y2) dxl

yl = (eos (01) * y2)" (sin (01) * x2) 4 dyl

donde:

dxl = -( (eos(01) * dx) - (sin(01) * dy) )

dyl = -( (eos(91) * dy) (sin (01) * dx) )

Por tanto, para cualquier punto en el plano visible en los campos de visión de ambas cámaras que se proyecta a la posición (x1, y1) en la imagen corregida (no distorsionada) de la primera cámara, y se proyecta a la posición (x2, y2) en la imagen corregida (no distorsionada) de la segunda cámara, (x1,y1) y (x2,y2) están relacionados por esta transformada.

Además, dentro de un factor de escala que relaciona las dimensiones en el plano con los píxeles de las imágenes de la cámara, cualquier punto del plano (xp,yp) se puede relacionar o bien con (x1,y1) o bien con (x2,y2) mediante una transformación de la misma forma matemática.

Asimismo, dada una transformada de la misma forma matemática que relaciona puntos de un primer plano (x1,y1) con puntos de un segundo plano (x2,y2), con parámetros {012,dx12,dy12}, y una transformada de la misma forma matemática que relaciona puntos en el segundo plano (x2,y2) con puntos en un tercer plano (x3,y3), con parámetros {023,dx23,dy23}, la transformada de la misma forma matemática que relaciona puntos en un primer plano (x1,y1) con puntos en el tercer plano (x3,y3), tiene parámetros {013,dx13,dy13} dados por:

913 = 912 4 023

dxl3 = (eos(023) * dxl2) - (sin(023) * dyl2) 4 dx23

dyl3 = (eos(023) * dyl2) ⁴ (sin(023) * dxl2) ⁴ dy23

Como se ilustra en la figura 7b, se proporciona un objetivo o una matriz de objetivos que se extiende a lo largo del campo de visión de todas las cámaras. Se puede ver por cada cámara parte del objetivo o un objetivo de una matriz de objetivos. Conociendo la posición de los objetivos unos con respecto a otros, se puede medir la posición de las cámaras unas con respecto a otras (figura 7c). Utilizar la ubicación de las cámaras relativas para crear desplazamientos en X e Y y una rotación de cada cámara para unir una sola imagen (véase la figura 7d).

CONTROL DE CONFIGURACIÓN DE IMÁGENES

Si los dispositivos de detección de imágenes del subsistema de formación de imágenes requieren iluminación para obtener una calidad de imagen aceptable, se pueden proporcionar dispositivos de iluminación. Por ejemplo, se pueden utilizar LED para iluminar un área de la que se formarán imágenes mediante los dispositivos de detección de imágenes. Se entiende que se pueden utilizar numerosos tipos de fuentes de iluminación. Por ejemplo, se pueden disponer LED alrededor de lentes o sensores de imagen de los dispositivos de detección de imagen. La luz emitida por los LED se transmite a lo largo del mismo camino que la vista de la cámara. En otra realización, se puede utilizar un dispositivo de dirección de luz, tal como un espejo, para dirigir las luces emitidas por una fuente de iluminación hacia un área objetivo, tal como un cajón del que se va a formar una imagen. La temporización y la intensidad de la iluminación están controladas por el mismo procesador que controla la cámara y su exposición. En algunas posibles configuraciones de cámaras, puede ser deseable implementar la sustracción de fondo para mejorar la imagen. La sustracción de fondo es una técnica de procesamiento de imágenes bien conocida que se utiliza para eliminar elementos estáticos no deseados de una imagen. Primero se captura una imagen con la iluminación apagada. Luego se captura una segunda imagen con la iluminación encendida. La imagen final se crea restando la iluminación fuera de la imagen de la iluminación en la imagen. Los elementos de la imagen que no se mejoran significativamente mediante la iluminación se eliminan así de la imagen resultante.

Con el fin de obtener una imagen correctamente de los cajones a diferentes distancias de una cámara, es necesario utilizar los ajustes apropiados para capturar imágenes y/o procesar las imágenes después de que se capturen. Estos ajustes incluyen intensidades de iluminación, tiempo de exposición de cámara, ganancias de color, incluyendo parámetros individuales para cada filtro de color en la matriz de sensores de imagen, configuraciones de apertura, tamaños de apertura, velocidad de obturación, parada f, valores umbral para el procesamiento de imágenes posterior a la captura, etc. Además, Los parámetros de formación de imagen distintos de las iluminaciones y las exposiciones pueden diferir de un cajón a otro y se deberían abordar durante el proceso de formación de imagen. Estos parámetros o consideraciones adicionales incluyen, por ejemplo, la ubicación y el tamaño de una región de interés (ROI) para formar imágenes dentro de la vista de la cámara; si se forma una imagen de manera redundante de una ROI de manera que ciertas cámaras se podrían cerrar o apagar para ahorro de energía; y efectos del paralaje en la ROI.

Las técnicas de formación de imagen convencionales suelen determinar los ajustes necesarios en base a detecciones en tiempo real de la distancia entre la cámara y el objeto de destino y, luego, calcular los parámetros y ajustes necesarios sobre la marcha. Sin embargo, tales cálculos en tiempo real requieren procesadores rápidos y potentes que añaden costes al sistema. Esta invención proporciona un algoritmo único que reduce sustancialmente la carga de cálculo del sistema y acelera significativamente el proceso de cálculo.

Un sistema de almacenamiento de herramientas ejemplar según esta invención almacena previamente datos de referencia que incluyen una distancia desde cada cajón respectivo a cada cámara y ajustes de parámetros necesarios según la identidad de cada cajón respectivo y diferentes condiciones de iluminación en el entorno. Estos datos de referencia se pueden generar durante la fabricación del sistema de almacenamiento de herramientas. Se mide y registra una distancia desde cada cámara respectiva a cada cajón respectivo. Los parámetros de imagen ideales bajo diferentes condiciones de iluminación se determinan para cada distancia registrada a través de medios estándar y se almacenan en una tabla de búsqueda. La tabla de búsqueda también almacena información adicional correspondiente a cada cajón respectivo, incluyendo las ubicaciones y los tamaños de la región de interés (ROI) para formación de imágenes dentro de la vista de la cámara, ya sea que se formen imágenes de manera redundante de una ROI, de manera que ciertas cámaras se podrían cerrar o apagar para ahorro de energía; y efectos del paralaje en la ROI.

Durante la operación, el sistema de almacenamiento de herramientas ejemplar determina la identidad de un cajón objeto al que se accede y las condiciones de iluminación del entorno. Según la identidad determinada del cajón y las condiciones de iluminación detectadas, el sistema ejemplar accede a los datos de referencia, incluyendo la información de distancia prealmacenada de cada cámara correspondiente al cajón del tema y los parámetros de formación de imágenes ideales según las condiciones de iluminación detectadas y la distancia. Tal enfoque elimina la necesidad de que el procesador del sistema realice detecciones y cálculos complejos para determinar la distancia a un cajón del tema y los parámetros de formación de imágenes apropiados para formación de imágenes del cajón. Más bien, toda la información necesaria es accesible desde la tabla de búsqueda almacenada previamente. En consecuencia, se pueden utilizar y/o ajustar parámetros y/o ajustes adecuados para capturar imágenes o procesar un cajón respectivo, de modo que se puedan obtener imágenes con suficiente calidad. En un sistema con múltiples cámaras, se puede utilizar una sola cámara para establecer los niveles de parámetros brutos para todas las cámaras y controles de iluminación.

El sistema ejemplar puede determinar la identidad de un cajón al que se accede utilizando varias maneras. Según una realización, cada cajón está asociado con un identificador visible para una cámara cuando el cajón entra en el campo de visión de la cámara. La cámara determina la identidad del cajón según el identificador único. Por ejemplo, el identificador puede ser un patrón único para cada cajón, tal como un código de barras, un número de identificación, un patrón único, etc. El identificador puede utilizar el mismo patrón para todos los cajones pero su ubicación es única para cada cajón. También es posible utilizar el mismo patrón colocado en una ubicación constante lejos del eje central de la cámara y se puede utilizar el paralaje para identificar objetivos.

Durante la operación, se procesa una imagen inicial de un cajón para buscar el patrón único que permitirá que el sistema determine que un objetivo está a la vista y determinar la distancia real al objetivo. Esto permite que el sistema determine qué ajustes de iluminación y exposición calculados previamente se utilizarán para imágenes posteriores. El patrón de identificación puede ser un patrón de imagen único separado para cada distancia objetivo, o puede ser un patrón común cuyo tamaño o ubicación permita la determinación de la distancia objetivo. El patrón de identificación está diseñado para presentar una imagen de alto contraste a la cámara que se puede decodificar bajo una amplia gama de controles de iluminación y exposición. Por ejemplo, se puede utilizar un patrón de círculos negros sobre un fondo blanco. Según todavía otra realización, cada cajón está provisto de dos patrones de referencia con una relación posicional conocida, tal como una distancia conocida. Dado que los cajones se alejan progresivamente de la cámara, la imagen del cajón y la distancia entre patrones de referencia también se hacen más pequeñas. En el sistema se almacena una tabla de búsqueda de diferentes distancias entre los patrones de referencia y las correspondientes identidades del cajón. Cuando se captura una imagen de un cajón, el sistema utiliza la distancia entre los patrones de referencia (en píxeles) y la tabla de búsqueda para determinar qué cajón se está abriendo.

En otra realización, cada cajón está asociado a un sensor de movimiento, un sensor de contacto o un detector de posición para detectar un movimiento de cada cajón. El sistema ejemplar determina la identidad del cajón que requiere formación de imágenes determinando qué sensor o detector está siendo activado por un cajón en movimiento, o en base a las señales transmitidas por el sensor o detector activado.

El sistema de almacenamiento de herramientas ejemplar utiliza un enfoque único para realizar la calibración del color y/o ajustar las ganancias de color. Cada cajón está provista de un área "codificada por colores" con atributos de color predeterminados. El área codificada por colores puede ser cualquier área, tal como un fondo de un color conocido, espuma de un color conocido, una pegatina con un color conocido, etc. La información relacionada con los atributos de color preestablecidos se almacena en una memoria no volátil en el sistema.

Se forman imágenes del área codificada por colores bajo una condición inicial. La imagen se adquiere de los sensores de la cámara en un formato denominado "sin procesar" o "bayer sin procesar". Los datos del sensor en formato sin procesar se pueden convertir a varios espacios de colores utilizando transformaciones matemáticas bien conocidas por los expertos en la técnica, tales como IHS (intensidad, tono y saturación), para permitir la extracción de atributos de la imagen tomada en la condición inicial. Los resultados de la conversión se pueden mejorar utilizando cualquier número de enfoques de promedio estadístico. Se genera un valor de compensación de color en base a la diferencia entre los atributos de color del área codificada por colores capturada y los atributos de color predeterminados. Según el valor de compensación, el sistema determina si alguna configuración de la cámara, tal como ganancias de color, exposiciones, etc., se debería ajustar para lograr una calidad de imagen adecuada. En una realización, tales ajustes se aplican a todas las imágenes posteriores. Según otra realización, el sistema realiza la calibración de colores como se discutió anteriormente para cada imagen respectiva.

Según otra realización, la imagen inicial del área codificada por colores se almacena como información de imagen de línea de base. Todas las imágenes posteriores del área codificada por colores se comparan con la imagen de referencia para determinar un desplazamiento. Luego, el sistema determina, según el desplazamiento calculado, si cualquier configuración de la cámara, tal como ganancias de colores, exposiciones, etc., se debería ajustar para que coincida con la información de línea de base. Por ejemplo, para cada atributo, se puede calcular una diferencia entre la información de línea de base y las imágenes posteriores y compararla con un valor umbral preestablecido. Si la diferencia excede el valor umbral, el sistema procede a realizar un ajuste en las imágenes posteriores. De lo contrario, no se realizará ninguna función de ajuste en las imágenes. Como se discutió anteriormente, los ajustes se podrían hacer cuando se toman las imágenes o se aplican a las imágenes de captura después de que se toman por los dispositivos de detección de imágenes.

Las técnicas para ajustar los atributos de las imágenes son bien conocidas y no se repetirán. Por ejemplo, el tono se puede ajustar variando la relación de ganancia entre los colores. Si un área blanca parece azul claro, la ganancia del detector azul se puede reducir para hacer que el área parezca blanca. Para ajustar las ganancias de colores y las exposiciones, una cámara tiene ajustes de ganancia separados para cuatro configuraciones de filtro de patrón bayer. Se puede ajustar una relación de ganancias entre varios elementos de filtro al nivel de la cámara. La exposición se puede ajustar cambiando el tiempo de exposición de la imagen durante la adquisición o la formación de imagen, aplicando una ganancia de imagen como un paso de procesamiento posterior o aumentando la salida de luz del hardware de iluminación. La intensidad del color está relacionada con la luz total devuelta por todos los filtros de colores. Si una intensidad dada es inferior al valor ideal, se pueden aumentar todas las ganancias, se puede aumentar el tiempo de exposición de la cámara o se puede ajustar la iluminación a un nivel superior. La saturación se relaciona con el brillo de un color dado. Una vez más, la exposición y la ganancia se pueden ajustar para hacer coincidir los niveles ideales con los niveles reales.

SISTEMAS DE ALMACENAMIENTO EN RED

Los sistemas de almacenamiento descritos en esta descripción se pueden vincular a un servidor remoto en un centro de auditoría, de manera que las condiciones de inventario en cada sistema de almacenamiento se actualicen y se informen oportunamente al servidor. Como se muestra en la figura 9, un servidor 802 está acoplado a múltiples sistemas de almacenamiento 800 a través de una red inalámbrica. El servidor 802 puede incluir un servidor de base de datos, tal como un servidor Microsoft SQL. La información relacionada con la autenticación, los usuarios autorizados, las condiciones de inventario, las pistas de auditoría, etc., se almacena en la base de datos.

En una realización, cada sistema de almacenamiento 800 está provisto de un transceptor de datos, tal como un módulo de 802.11 g o Ethernet. El módulo de Ethernet se conecta directamente a la red, mientras que un módulo de 802.11 g puede conectarse a través de un enrutador 802.11 g conectado a la red. A cada uno de estos módulos de red se le asignará una dirección de IP estática o dinámica. En una realización, los sistemas de almacenamiento 800 se registran periódicamente en el servidor a través de los transceptores de datos sobre una base periódica, para descargar información sobre usuarios autorizados, niveles de autorización de diferentes usuarios o diferentes tarjetas de acceso, sistemas de almacenamiento relacionados, etc. Los sistemas de almacenamiento 800 también cargan información relacionada con los sistemas tales como condiciones de inventario, imágenes de cajones, uso de herramientas, registros de acceso, información del usuario que accede a los sistemas de almacenamiento 800, etc., al servidor 802. Cada sistema de almacenamiento 800 puede estar alimentado por una fuente de AC o por un paquete de baterías. Se puede proporcionar un sistema de alimentación ininterrumpida (UPS) para suministrar energía durante un fallo de energía.

El servidor 802 permite que un administrador o auditor revise la información de acceso relacionada con cada sistema de almacenamiento 800, tal como las condiciones de inventario y la información relacionada con cada acceso al sistema de almacenamiento 800, como información de usuario, duración del uso, condiciones de inventario, cambios en las condiciones de inventario, imágenes de cajones o contenidos del sistema de almacenamiento, etc. En una realización, el buscador 802 puede formar una conexión en tiempo real con un sistema de almacenamiento 800 y descargar información de ese sistema de almacenamiento. El administrador o auditor también puede programar el dispositivo de control de acceso en cada sistema de almacenamiento a través del servidor 802, tal como cambiar la contraseña, el personal autorizado, añadir o eliminar usuarios autorizados para cada sistema de almacenamiento, etc. Datos de autorización necesarios para conceder acceso a cada sistema de almacenamiento 800 se puede programar y actualizar por el servidor 802 y descargar a cada sistema de almacenamiento 800. Los datos de autorización pueden incluir contraseñas, personal autorizado, añadir o eliminar usuarios autorizados para cada sistema de almacenamiento, validación de usuario o algoritmo de autenticación, clave pública para cifrados y/o descifrados, lista negra de usuarios, lista blanca de usuarios, etc. Se pueden transmitir otras actualizaciones de datos a cada sistema de almacenamiento desde el servidor 802, tales como actualizaciones de software, etc. De manera similar, cualquier cambio realizado en el sistema de almacenamiento 800, tal como cambiar la contraseña, añadir o eliminar usuarios autorizados, etc., se actualizará en el servidor 802.

Para cada solicitud de acceso enviada por un usuario, un sistema de almacenamiento autentica o valida al usuario determinando una autorización de usuario según la información de usuario introducida por el usuario a través del dispositivo de entrada de datos y los datos de autorización. Según el resultado de la autenticación, el procesador de datos concede acceso de forma selectiva al sistema de almacenamiento controlando un dispositivo de control de acceso, tal como un candado, para conceder acceso al sistema de almacenamiento 800 o a uno o más cajones de almacenamiento de uno o más sistemas de almacenamiento 800.

El servidor 802 también permite que un administrador programe múltiples sistemas de almacenamiento 800 dentro de un grupo designado 850 al mismo tiempo. El administrador puede seleccionar qué sistemas de almacenamiento específicos deberían estar en el grupo 850. Una vez que se autoriza el acceso de un usuario al grupo 850, el usuario tiene acceso a todos los sistemas de almacenamiento dentro del grupo 850. Por ejemplo, un grupo de sistemas de almacenamiento que almacenan herramientas para realizar herramientas automotrices se puede designar como grupo de herramientas de automoción, mientras que otro grupo de sistemas de almacenamiento que almacenan herramientas para realizar trabajos eléctricos se puede designar como grupo de herramientas eléctricas. Cualquier configuración, ajuste o programación hecha por el Servidor 802 en conexión con un grupo se aplica automáticamente a todos los sistemas de almacenamiento de herramientas en ese grupo. Por ejemplo, el servidor 802 puede programar los sistemas de almacenamiento de herramientas permitiendo que un técnico automotriz acceda a todos los sistemas de almacenamiento de herramientas en el grupo de herramientas automotrices, pero no a los del grupo de herramientas eléctricas. En una realización, cada sistema 800 solo incluye inteligencia mínima suficiente para la operación. Todos los demás procesamientos de datos, autenticación de usuarios, procesamiento de imágenes, etc., se realizan por el servidor 802.

De manera similar, el servidor 802 también permite que un administrador programe múltiples cajones de almacenamiento 330 dentro de un grupo designado al mismo tiempo. El administrador puede seleccionar qué cajones de almacenamiento específicos, del mismo sistema o de diferentes sistemas de almacenamiento, deberían estar en el grupo. Una vez que se autoriza a un usuario a acceder al grupo, el usuario tiene acceso a todos los cajones de almacenamiento dentro del grupo. Por ejemplo, un grupo de sistemas de almacenamiento que almacenan herramientas para realizar herramientas automotrices se puede designar como grupo de herramientas automotrices, mientras que otro grupo de sistemas de almacenamiento que almacenan herramientas para realizar trabajos eléctricos se puede designar como grupo de herramientas eléctricas.

En otra realización, un sistema de almacenamiento en red ejemplar, como se muestra en la figura 9, utiliza una arquitectura de autorización jerárquica para gestionar el acceso a los sistemas de almacenamiento. Uno o más sistemas de almacenamiento 800 reciben el estado de sistema de almacenamiento principal. Cada sistema de almacenamiento maestro tiene uno o más sistemas de almacenamiento esclavos asociados. Si un usuario está autorizado a acceder a un sistema de almacenamiento maestro, el mismo usuario está autorizado automáticamente a acceder a cualquier sistema de almacenamiento esclavo asociado con ese sistema maestro. Por otro lado, si un usuario está autorizado para acceder a un sistema de almacenamiento esclavo, la autorización al sistema esclavo no concede automáticamente al usuario acceso a su sistema de almacenamiento maestro asociado u otros sistemas de almacenamiento esclavo asociados con el mismo sistema de almacenamiento maestro.

Según todavía otra realización, un sistema de almacenamiento en red ejemplar como se muestra en la figura 9 concede acceso al usuario utilizando múltiples niveles de autorización jerárquicos. Cada nivel de autorización está asociado con sistemas de almacenamiento especificados previamente, que se pueden programar por un administrador a través del servidor 802. Cuando a un usuario se le asigna un nivel de autorización específico, este usuario está autorizado para acceder a todos los sistemas de almacenamiento asociados con el nivel de autorización asignado y todos los sistemas de almacenamiento asociados con todos los niveles de autorización inferiores al nivel de autorización asignado en la jerarquía de autorización, pero no a los asociados con niveles de autorización superiores al nivel de autorización asignado en la jerarquía de autorización.

AUDITORÍA

Un sistema de control de inventario ejemplar según esta descripción rastrea varios tipos de información relacionada con cada acceso. Por ejemplo, el sistema 800 registra la fecha, la hora y/o la duración de cada acceso, y la información de usuario correspondiente enviada por un usuario para obtener acceso al sistema 800. Como se discutió anteriormente, el sistema 800 captura una o más imágenes de la unidad de almacenamiento durante cada acceso para determinar una condición de inventario. Las imágenes están vinculadas a cada acceso y usuario que accede y se almacenan en el sistema 800. El sistema 800 puede almacenar la información localmente o cargar la información obtenida al servidor 802 a través de la red de comunicación inalámbrica, como se muestra en la figura 9.

El servidor 802 puede procesar y compilar la información recibida de cada sistema 800, para crear una pista de auditoría para cada servidor 802. La pista de auditoría es accesible por administradores o usuarios con niveles de autorización adecuados. Se pueden generar y recuperar diferentes tipos de pistas de auditoría en base a las preferencias de los usuarios autorizados. Por ejemplo, se puede generar una pista de auditoría para una o más fechas específicas, uno o más usuarios específicos, una o más herramientas específicas, uno o más ID, etc. Se puede generar y proporcionar información y análisis adicionales por el servidor 802. Por ejemplo, el sistema 802 puede realizar un seguimiento de los usos de una herramienta específica a lo largo del tiempo y generar un informe que resuma la frecuencia de uso de cada herramienta para su evaluación. Tal informe se puede utilizar para determinar qué herramientas se utilizan con más frecuencia y qué herramientas probablemente no se necesiten porque se utilizan menos a menudo que otras. Los datos se pueden ordenar por criterios pertinentes tales como la fecha, el usuario o el cajón, permitiendo al auditor ver el estado exacto del cajón cuando se abrió y cuando se cerró.

Si una herramienta en particular no se detecta correctamente, debido a la interferencia de algunos objetos extraños o por cualquier motivo, el centro de auditoría 802 genera una advertencia con una imagen del área específica del cajón que tiene un problema. Esto se logra solicitando la imagen del área afectada del subsistema de formación de imágenes.

Según una realización, el sistema 800 muestra el estado del sistema de almacenamiento de herramientas a través de un protector de pantalla. Una pantalla del sistema 800 tiene un protector de pantalla personalizado que se muestra en uno de tres colores diferentes dependiendo del estado del sistema de control de herramientas. Si todas las herramientas están comprobadas pero el recuadro está cerrado, el protector de pantalla muestra un icono verde que rebota. Si las herramientas están comprobadas actualmente pero el cuadro está cerrado, se muestra un icono que rebota amarillo. Si el sistema está actualmente abierto, se muestra un icono rojo.

Según otra realización, la pantalla del sistema 800 está provista de una presentación gráfica del sistema de almacenamiento de herramientas que actualiza dinámicamente el estado del sistema de almacenamiento de herramientas 800. Se muestra una imagen del sistema de almacenamiento de herramientas 800 y los cajones reflejarán el estado actual del sistema. Si un cajón está abierto, ese cajón se mostrará en rojo en la pantalla. Si un cajón está cerrado pero las herramientas están comprobadas actualmente, ese cajón aparecerá en amarillo. Si el cajón está cerrado y todas las herramientas están presentes en el cajón, el cajón se verá transparente con un contorno negro.

La figura 10a muestra una pantalla ejemplar de una pista de auditoría con respecto a un sistema de almacenamiento específico 800. Cada acceso al sistema 800 se identifica mediante la fecha/hora 920 y la información de usuario 910 de los usuarios asociados con cada acceso. La información de usuario puede incluir cualquier información enviada por un usuario cuando se solicita acceso al sistema 800, tal como huellas dactilares, imágenes de reconocimiento facial, imágenes de usuario tomadas por cámaras de usuario, contraseñas, información almacenada en tarjetas de acceso, cualquier información para autenticación, etc. En una realización, los datos de las características faciales de cada usuario se almacenan en el sistema 800 o en el servidor 802. Para cada acceso, una imagen de un usuario que accede al sistema 800 se captura por una cámara de usuario. Se recopila información de usuario enviada por el usuario para obtener acceso al sistema 800, tal como información almacenada en una tarjeta de acceso y/o contraseña. La imagen capturada se compara con las características faciales de usuario de un usuario identificado por la información de usuario. El sistema 800 o el servidor 802 determina si las características faciales del usuario que accede al sistema 800 coinciden con las características faciales del usuario identificado por la información de usuario.

Se toman una o más imágenes durante cada acceso al sistema de almacenamiento 800. La figura 10b muestra una imagen ejemplar "antes del acceso" tomada por las cámaras del sistema 800 antes de que un usuario tenga acceso a las ubicaciones de almacenamiento o cuando el cajón está moviéndose en la primera dirección, como se discutió anteriormente en esta invención. Como se muestra en la figura 10b, cada herramienta se almacena correctamente en su ubicación de almacenamiento correspondiente. La figura 10c muestra una imagen ejemplar "después del acceso" tomada por las cámaras del sistema 800 después de que se finaliza el acceso o cuando un cajón de almacenamiento se mueve en la segunda dirección como se discutió anteriormente. Como se muestra en la figura 10c, faltan las herramientas correspondientes a las ubicaciones de almacenamiento 951 y 952. En base a la imagen mostrada en la figura 10c, el sistema 800 determina que faltan herramientas en las ubicaciones de almacenamiento 951 y 952. Se genera una pista de auditoría con respecto a las herramientas que faltan y el usuario asociado con el acceso. La figura 10d muestra un registro ejemplar almacenado en el sistema 800 y/o el servidor 802, en el que se almacenan las imágenes 981 y 982 "antes del acceso" y "después del acceso". Las herramientas que faltan se identifican según la imagen 982 "después del acceso" y se enumeran en el área 980.

En las descripciones anteriores, se exponen numerosos detalles específicos, tales como materiales, estructuras, procesos, etc. específicos, con el fin de proporcionar una comprensión completa de la presente invención. Sin embargo, como reconocería un experto normal en la técnica, la presente descripción se puede practicar sin recurrir a los detalles específicamente expuestos. En otros casos, estructuras de procesamiento bien conocidas no se han descrito en detalle con el fin de no oscurecer innecesariamente la presente descripción.

Claims (4)

REIVINDICACIONES

1. Un sistema de control de inventario para determinar una condición de inventario de objetos almacenados en el sistema, el sistema que comprende:

al menos un cajón de almacenamiento, cada cajón de almacenamiento que incluye una pluralidad de ubicaciones de almacenamiento para almacenar objetos;

un dispositivo de almacenamiento de datos que almacena datos de referencia para cada cajón de almacenamiento, en donde los datos de referencia incluyen, para cada región de interés correspondiente a cada cajón de almacenamiento respectivo, al menos una de una firma de imagen de referencia que representa atributos de la región de interés cuando está presente un objeto almacenado, y una firma de imagen de referencia que representa los atributos de la región de interés cuando no está presente el objeto almacenado;

un procesador de datos configurado para:

derivar una firma de imagen que representa atributos de una región de interés correspondiente a un cajón utilizando una imagen capturada del cajón, la región de interés que es un subconjunto de la imagen capturada; y

determinar una condición de inventario del cajón según los datos de referencia almacenados correspondientes a la región de interés y la firma de imagen derivada que representa los atributos de la imagen capturada de la región de interés,

en donde la firma de imagen se deriva en base a una distribución de número de píxeles determinada con respecto a la intensidad, el tono y la saturación de la imagen,

en donde la distribución del número de píxeles se determina en base a la acumulación de valores de tono y saturación de la imagen, para píxeles con valores de intensidad entre valores umbral bajo y alto, en contenedores de un histograma de tono-saturación 2D,

en donde el histograma de tono-saturación 2D se examina en base a las distribuciones de números de píxeles para encontrar un contenedor con la mayor cantidad de píxeles, en donde los contenedores adyacentes al contenedor con la mayor cantidad de píxeles se incluyen hasta que el recuento de píxeles de un contenedor cae por debajo de una fracción predefinida del recuento de píxeles en el contenedor de pico, en donde se calcula una intensidad, tono y saturación promedios de los contenedores seleccionados para generar la firma de imagen.

2. El sistema de la reivindicación 1, en donde:

cada ubicación de almacenamiento está configurada para almacenar una herramienta designada previamente;

cada ubicación de almacenamiento está asociada con una o más regiones de interés predefinidas; y el procesador de datos determina una condición de inventario de la herramienta designada previamente de una ubicación de almacenamiento respectiva en base a una correlación de la firma de imagen de cada región de interés asociada con la ubicación de almacenamiento, y la firma de imagen de referencia correspondiente a cada región de interés asociada con la ubicación de almacenamiento.

3. Un método para utilizar en un sistema de control de inventario para determinar una condición de inventario de objetos almacenados en el sistema, el sistema que comprende al menos un cajón de almacenamiento para almacenar objetos, un dispositivo de almacenamiento de datos que almacena datos de referencia para cada cajón de almacenamiento, en donde los datos de referencia incluyen, para cada región de interés correspondiente a cada cajón de almacenamiento respectivo, al menos una firma de imagen de referencia que representa atributos de la región de interés cuando está presente un objeto almacenado, y una firma de imagen de referencia que represente atributos de la región de interés cuando el objeto almacenado no está presente; el método que comprende:

capturar una imagen de un cajón;

derivar una firma de imagen que representa atributos de al menos una región de interés correspondiente al cajón, la región de interés que es un subconjunto de la imagen capturada; y

determinar una condición de inventario del cajón según los datos de referencia almacenados correspondientes a la región de interés correspondiente al cajón, y la firma de imagen derivada que representa los atributos de la región de interés correspondiente al cajón de almacenamiento, en donde la firma de imagen se deriva en base a una distribución del número de píxeles determinada con respecto a la intensidad, el tono y la saturación de la imagen,

en donde la distribución del número de píxeles se determina en base a la acumulación de valores de tono y saturación de la imagen, para píxeles con valores de intensidad entre valores umbral bajo y alto, en contenedores de un histograma de tono-saturación 2D,

en donde el histograma de tono-saturación 2D se examina en base a las distribuciones de números de píxeles para encontrar un contenedor con la mayor cantidad de píxeles, en donde los contenedores adyacentes al contenedor con la mayor cantidad de píxeles se incluyen hasta que el recuento de píxeles de un contenedor cae por debajo de una fracción predefinida del recuento de píxeles en el contenedor de picos, en donde se calcula una intensidad, tono y saturación promedios de los contenedores seleccionados para generar la firma de imagen.

4. El método de la reivindicación 3, en donde:

cada ubicación de almacenamiento está configurada para almacenar una herramienta designada previamente;

cada ubicación de almacenamiento está asociada con una o más regiones de interés predefinidas; y el procesador de datos determina una condición de inventario de la herramienta designada previamente de una ubicación de almacenamiento respectiva en base a una correlación de la firma de imagen de cada región de interés asociada con la ubicación de almacenamiento, y la firma de imagen de referencia correspondiente a cada región de interés asociada con la ubicación de almacenamiento.