ES2745066T3 - Dispositivo de cámara y método para grabar un flujo de objetos - Google Patents

Abstract

Dispositivo (10) de cámara para detectar un flujo de objetos (14) en movimiento con respecto al dispositivo (10) de cámara, con varias cámaras (181..18n) individuales que, respectivamente, presentan un sensor de imagen matricial para la captación de imágenes individuales bidimensionales, cubriendo las imágenes individuales respectivamente una parte de la anchura del flujo y se superponen parcialmente unas con otras, con una unidad (28) de evaluación para la composición de imágenes individuales y con un sensor (24) de detección de geometría para la detección de datos geométricos de los objetos (14) caracterizado porque la unidad (28) de evaluación está configurada para detectar una parte del flujo de los objetos (14) como un tapete de imágenes, en el que, a lo largo de un período de captación, se clasifican imágenes individuales generadas con un período de captación y correspondientes a la posición de la cámara (181..18n) individual que las genera y la secuencia temporal, para seleccionar, en base a los datos geométricos, aquellas imágenes individuales del tapete de imágenes que se necesitan para una imagen de objeto de un objeto (14) individual del flujo de objetos (14), y componer la imagen de objeto a partir de las imágenes individuales seleccionadas.

Description

DESCRIPCIÓN

Dispositivo de cámara y método para grabar un flujo de objetos.

La invención se refiere a un dispositivo de cámara y a un procedimiento para detectar un flujo en movimiento de objetos según la cláusula precaracterizante de la reivindicación 1 o bien 13.

Para la automatización de procesos en una cinta transportadora, se utilizan sensores para detectar propiedades de objeto de los objetos transportados y, en función de esto, iniciar otros pasos de procesamiento. En la automatización de la logística, el procesamiento consiste, habitualmente, en una clasificación, por ejemplo, en la identificación automática de paquetes, para envíos postales o la facturación de equipaje en aeropuertos. Junto a informaciones generales, como volumen y peso de los objetos, a menudo, un código óptico añadido al objeto sirve como fuente de información más importante. En otros casos, se trata de una inspección o un control de calidad, en el que puede estar involucrado un código óptico, pero no debe.

Con el desarrollo continuo de la tecnología de cámaras digitales, para la lectura de códigos se utilizan crecientemente lectores de códigos basados en cámara. En lugar de escanear regiones de código, como en un escáner de códigos de barras, un lector de códigos basado en cámara capta imágenes de los objetos con los códigos que se encuentran encima, con ayuda de un sensor de imagen con resolución de píxeles y un software de evaluación de imágenes extrae la información de código a partir de esas imágenes. Los lectores de códigos basados en cámara, se defienden sin problema también con otros tipos de código aparte de códigos de barras unidimensionales, que están formados como un código matricial también bidimensional, y ponen más información a disposición. En un grupo de aplicación importante, los objetos que portan código se transportan por delante del lector de códigos. Una cámara lee las imágenes de objeto con las informaciones de código de manera sucesiva con el movimiento relativo.

A menudo, un único sensor no es suficiente para captar todas las informaciones relevantes acerca de los objetos sobre una cinta transportadora. Por eso, se juntan varios sensores en un sistema de lectura o túnel de lectura. Si, para aumentar el rendimiento de objetos, varias cintas transportadoras se encuentran una al lado de la otra, o se utiliza una cinta transportadora ensanchada, de esta manera, se añaden mutuamente varios sensores en sus campos de visión en sí muy estrechos para cubrir toda la anchura. Además, se montan sensores en diferentes perspectivas para captar códigos desde todos los lados (omni-lectura).

El sistema de lectura pone la información detectada, como contenidos de código e imágenes del flujo de objetos, a disposición de un control superior. Estas imágenes se utilizan, por ejemplo, para un reconocimiento de texto externo, una visualización o un postprocesamiento (codificación de video) manual. Si bien están dispuestos varios sensores uno al lado del otro para cubrir un área de lectura más ancha, de esta manera, resultan complicaciones. En principio, son conocidos procedimientos de procesamiento de imágenes a partir de la literatura, los cuales unen imágenes de varias fuentes ("Image Stitching”). Tales procedimientos trabajan solo con los datos de imagen y esto se vuelve costoso con una gran cantidad de sensores involucrados, sobre todo entonces el éxito y la calidad de la composición dependen en gran medida de los datos de imagen.

Por lo tanto, no es posible sin más obtener una imagen de objeto del respectivo objeto sobre la cinta transportadora, el cual puede transmitirse al control superior. Prácticamente no es factible simplemente almacenar las imágenes individuales de los sensores implicados como tal en el control superior, dado que la cantidad de datos sería inmensa. Además, el control superior debería entonces manejar el problema de componer imágenes individuales en una imagen de objeto que, por lo tanto, solo estaría desplazado.

En el estado de la técnica, a menudo, a los propios sensores, es decir, por ejemplo a los lectores de códigos basados en cámara, se ordena preliminarmente otro sensor para detectar o medir de antemano los objetos. Así, por ejemplo, para un objeto se puede transmitir al control superior no solo el contenido de los códigos que se encuentran encima, sino también su volumen. De esta manera, todavía no está a disposición una imagen de objeto de los objetos individuales para el control superior.

El documento EP 1645839 B1 da a conocer un dispositivo para la monitorización de objetos en movimiento en una cinta transportadora, que presenta un escáner láser ordenado preliminarmente que mide la distancia para la detección de la geometría de los objetos sobre la cinta transportadora y una cámara de líneas. A causa de los datos del escáner láser, se reconocen regiones de objetos como regiones de interés (ROI, región of interest) y la evaluación de los datos de imagen de la cámara de líneas se limita a esas regiones de interés. La unión de datos de imagen de lectores de códigos dispuestos uno al lado del otro no está prevista en este caso.

En el documento EP 2 546 776 B1, varios lectores de códigos basados en líneas están instalados uno al lado del otro en una carcasa común, cuyas líneas de imagen se unen en una imagen común. Un escáner láser montado con respecto al sentido de transporte por encima de los lectores de códigos, mide de antemano el contorno de altura de los objetos para reconocer objetos como objetos individuales, marcar regiones de transporte vacías como no interesantes o realizar ajustes de enfoque. La cantidad de datos a ser entregada para la respectiva imagen completa sigue siendo demasiado alta. En el documento EP 2 546 776 B1 no está previsto generar imágenes de objetos individuales, y extraerlos de la imagen completa con procedimientos de evaluación de imagen seguiría siendo complejo y costos. Además, la composición de imágenes bajo las condiciones marco dadas, o sea, sensores de línea ajustados entre si de manera conocida, es comparativamente sencilla.

El documento EP 2693364 A1 afronta otro sistema de cámara que cubre con varias unidades de detección, que captan superpuestas conjuntamente la anchura completa de un flujo de objetos. Para la unión de los datos de imagen detectados en una imagen común, se identifican regiones de interés, por ejemplo, regiones de código, y una costura de unión se coloca de modo que la imagen completa dentro de una región de interés contiene solo datos de imagen de la misma unidad de detección. De esta manera, se obtiene una imagen completa de alta calidad de todos los objetos, en la que las regiones de código no pueden volverse ilegibles por la costura de unión. Sin embargo, no se generan imágenes de objetos individuales y esto tendría que tener lugar de nuevo de manera costosa mediante segmentación en un procedimiento de procesamiento de imagen posterior.

El documento EP 2693 363 A1 da a conocer un sistema de cámara con varias unidades de detección que, respectivamente, presentan una unidad de enfoque, para, en caso de detección simultánea de varios objetos, poder ajustar de manera complementaria las posiciones del foco y, de esta manera, captar enfocados tantos objetos como sea posible con al menos una unidad de detección.

Por el documento US 2007/0237356 A1 es conocido un sistema de cámara, el cual capta paquetes desde diferentes perspectivas y, de ello, genera vistas tridimensionales de paquetes.

Es por ello misión de la invención, obtener de manera eficiente datos de salida mejorados de un sistema de cámara de acuerdo con el género.

Esta misión se resuelve mediante un dispositivo de cámara y un procedimiento para detectar un flujo en movimiento de objetos según la reivindicación 1 o bien 13. El dispositivo de cámara comprende una pluralidad de cámaras individuales, cuya respectiva área de detección no es suficiente, que una imagen individual cubra la anchura del flujo de objetos. Las imágenes individuales al menos parcialmente superpuestas se unen (Image Stitching). Un sensor de detección de geometría genera, adicionalmente a las imágenes individuales, datos geométricos de los objetos, por ejemplo, contornos de objeto, mediante medición de distancia.

La invención se basa en la idea fundamental de apoyar el procesamiento de imagen de las imágenes individuales mediante los datos geométricos. Para poder entregar una imagen de objeto de un objeto individual del flujo de objetos se seleccionan, en base a los datos geométricos, las imágenes individuales involucradas. Por lo tanto, la imagen de objeto precisamente no se recorta de una imagen completa compuesta, como también seria concebible posteriormente en el estado de la técnica, sino que más bien la propia imagen de objeto se compone de imágenes individuales. Alternativa o adicionalmente, el propio proceso de la composición, o bien el algoritmo de fusión de imágenes, se simplifica mediante los datos geométricos.

La invención tiene la ventaja de que a través de la respectiva imagen de objeto, se pueden obtener datos adicionales valiosos que son útiles para diagnóstico, visualización, postprocesamiento y fines similares ("offshore video coding”). A causa del conocimiento previo en forma de los datos geométricos, se posibilita una composición muy robusta y confiable de imágenes individuales en una respectiva imagen de objeto. La calidad de las imágenes de objetos es alta, en particular, permanecen legibles regiones sensibles, como regiones de código y campos de dirección. Al mismo tiempo, el procedimiento, mediante aprovechamiento de los datos geométricos, es muy eficiente y, por lo tanto, en caso necesario, posible incluso en tiempo real, dado que solo deben procesarse imágenes individuales que realmente están involucradas en la imagen de objeto y, además, la fusión y el procesamiento de imagen se puede simplificar notablemente por medio de los datos geométricos.

Los sensores de imagen de las cámaras individuales son, preferiblemente, sensores matriciales y generan, por lo tanto, una imagen bidimensional. Entonces se manifiestan de manera particularmente notable las ventajas de la invención, porque la composición de imágenes planas deja más grados de libertad y, por ello, es más compleja. En principio, sin embargo también son concebibles otros sensores de líneas, por ejemplo, en el caso de cintas transportadoras particularmente anchas, que tampoco cubre una cámara de líneas individual.

El al menos un sensor de detección de geometría es, preferiblemente, un escáner láser o una cámara 3D y detecta una nube de puntos o un mapa de distancias de los objetos, pudiendo entonces revisarse adicionalmente los datos geométricos. Preferiblemente, el sensor de detección de geometría está dispuesto con respecto al sentido de movimiento del flujo por encima de las cámaras individuales, de modo que los datos geométricos están a disposición de antemano. Aunque también es concebible integrar la detección de geometría en las cámaras individuales, por ejemplo, mediante un procedimiento de tiempo de propagación de luz o de estéreo.

Los datos geométricos presentan, de manera preferida, una superficie que circunscribe al objeto individual. Los datos geométricos son en sí tridimensionales. De ello se deduce una región bidimensional, donde, desde la visión de las cámaras individuales, se encuentra el objeto. Una región de este tipo se puede describir con pocos puntos de datos, por ejemplo, como polígono o, preferiblemente, como rectángulo. De esta manera, no solo se limita la cantidad de datos, sino también el aprovechamiento de las informaciones de geometría en la selección de imágenes individuales y/o simplifica considerablemente su composición.

Los datos geométricos describen, preferiblemente, el contorno 3D del objeto individual. Para ello, ya se puede utilizar la nube de puntos 2,5D, o bien, el mapa de distancias del sensor de detección de geometría que, luego, se recorta en la región del objeto. Sin embargo, también es concebible generar un modelo de objeto, por ejemplo, como modelo de mapa, mediante indicación de los vértices, red triangulada o superficie reconstruida del objeto individual. A partir del contorno 3D se pueden generar imágenes de objeto con superficie irregular, para compensar la simplificación en imágenes de objetos bidimensionales planas. Además, es posible, siempre y cuando estén a disposición disposiciones de cámaras individuales en varias perspectivas, generar un modelo 3D real del objeto junto con texturas a partir de las imágenes individuales para, posteriormente, considerar el objeto desde diferentes lados. Un modelo 3D de este tipo puede crearse para objetos moldeados regulares así como irregulares.

La unidad de evaluación está, preferiblemente, configurada para localizar el objeto individual sobre la base de los datos geométricos. Para poder entregar una imagen de objeto que solo muestre un objeto individual, convencionalmente es necesaria una segmentación de los datos de imagen que de hecho es posible, sin embargo muy costosa y propensa a errores. Por ejemplo, las aristas de objeto con contraste débil, por ejemplo, varios objetos de color parecido, dispuestos cerca uno al lado del otro, son muy difíciles de reconocer. Una segmentación en base a los datos geométricos es, por el contrario, notablemente más sencilla y robusta.

La unidad de evaluación está, preferiblemente, configurada para recortar la imagen de objeto, mediante los datos geométricos, sobre el objeto individual. También, incluso si solo se utilizan las imágenes individuales correctas para la composición de una imagen de objeto, que realmente contienen partes del objeto, la imagen de objeto producida de ello de ninguna manera contiene forzosamente solo el propio objeto. Un corte a medida (Cropping) requeriría en sí localizar el objeto en la imagen de objeto. Mediante utilización de los datos geométricos, esta tarea se simplifica considerablemente, pues la región de imagen relevante se puede determinar independientemente del contenido de imagen o un reconocimiento de característica inmediatamente a partir de los datos geométricos. La imagen de objeto puede presentar intencionadamente una región de borde alrededor del objeto, para que el entorno del objeto permanezca reconocible.

La unidad de evaluación está, preferiblemente, configurada para, mediante los datos geométricos, rotar la imagen de objeto a una orientación normalizada. En un objeto en forma de paralelepípedo, por ejemplo, de esta manera, el objeto detectado como rectángulo se rota enrasado con respecto a la horizontal o bien la vertical. La orientación real del objeto y, con ello, la rotación necesaria se obtiene de manera muy sencilla a partir de los datos geométricos.

La unidad de evaluación está, preferiblemente, configurada para, mediante los datos geométricos, corregir en perspectiva la imagen de objeto. La transformación necesaria se obtiene a partir de los datos geométricos, sin tener que analizar los datos de imagen para ello. En este caso, a diferencia de en un recorte a medida o una rotación del objeto, no sería solo costoso, sino incluso sumamente difícil, si no imposible, reconocer en general la perspectiva a ser realmente corregida con procedimientos de procesamiento de imagen.

La unidad de evaluación está, preferiblemente, configurada para, mediante los datos geométricos, localizar regiones en las imágenes individuales en las que pueden aparecer reflejos directos. Reflejos de este tipo conducen a partes en parte intensamente sobreexpuestas en las imágenes individuales, que precisamente en la lectura de códigos son perturbadoras. Los datos geométricos permiten, sin embargo, determinar cuándo una superficie de objeto de una cámara individual está orientada de modo que amenazan tales reflejos perturbadores. Preferiblemente, en la fusión de imágenes para una región de imagen afectada, entonces se utilizan datos de imagen de otra imagen individual superpuesta sin tales sobreexposiciones perturbadoras.

Las cámaras individuales están, preferiblemente, dispuestas en una hilera, estando la unidad de evaluación configurada para, al componer una imagen de objeto, buscar características de imagen correspondientes con ayuda de la geometría epipolar, en particular, a lo largo de líneas epipolares. Como consecuencia de la disposición en hilera de las cámaras individuales, está determinada una dirección preferida para características de imagen correspondientes entre sí, y esto se aprovecha mediante una búsqueda de correspondencia limitada a las líneas epipolares que, de esta manera, se acelera y simplifica considerablemente. Preferiblemente, en particular, en el caso de una búsqueda en tiempo real, las cámaras están montadas perpendiculares con respecto al sentido de movimiento de os objetos, de tal manera que las líneas epipolares se encuentran a lo largo de líneas de imagen de los sensores de imagen. Además, las cámaras individuales pueden estar ajustadas tan precisas entre sí, que, respectivamente, las mismas líneas de píxeles forman una línea epipolar o se determina un desplazamiento restante al principio y luego se tiene en cuenta.

La unidad de evaluación está, preferiblemente, configurada para, en la composición de una imagen de objeto, buscar características de imagen correspondientes en una región de cambio, que se elige en función de la distancia del objeto individual deducida a partir de los datos geométricos. En la región de superposición las características idénticas captadas por cámaras individuales adyacentes se encuentran, según la altura, más cercanas juntas o más distanciadas entre sí. Esta altura, sin embargo, también es accesible mediante los datos geométricos. Las demás circunstancias geométricas, por ejemplo, la altura de montaje de las cámaras individuales y su distancia mutua, son también conocidas. De esta manera, una búsqueda de correspondencia se puede limitar a una región pequeña. Esto acelera la composición y evita errores, porque fuera de la ventana de correspondencia elegida en función de la altura del objeto, de por sí se reconocerían como mucho correspondencias de apariencia.

La unidad de evaluación está, preferiblemente, configurada para colocar la costura de unión ("Stitchting Seam", “Stitching Line”) de la imagen de objeto en la región de superposición de dos imágenes individuales, a través de regiones de imagen con el menor contraste posible. Algoritmos de fusión de imágenes eficientes, sobre todo como se apoya de acuerdo con la invención mediante datos geométricos, son absolutamente capaces, también en la región de transición entre dos imágenes individuales en una imagen de objeto, de generar datos de imagen valiosos. No obstante, es ventajoso cuando posibles distorsiones restantes solo afectan a regiones de contraste débil, donde tienen pocos o menos efectos. De esta manera, se pierde tan poca información como es posible.

Al menos una cámara individual está configurada, preferiblemente, como lector de códigos basado en cámara. De esta manera, en las imágenes individuales o imágenes individuales fusionadas, como las imágenes de objeto, se pueden leer informaciones de código. Para evitar que algunos códigos se vuelvan legibles solo después de la fusión de imágenes, las regiones de superposición de las cámaras individuales se pueden elegir tan grandes, que encajan los códigos a ser leídos. Luego, cada uno de los códigos es legible en al menos una imagen individual. Otro camino es el denominado Code-Stitching. Cuando un código se encuentra en una región de transición de dos imágenes individuales, una decodificación en el plano de imágenes individuales conduce solo a resultados parciales, que, sin embargo, luego se unen en un contenido de código completo. Un dispositivo de cámara con cámaras individuales que leen códigos, es un sistema de lectura o un túnel de lectura como se explica al principio. Adicionalmente al volumen y al contenido de código, ahora sin embargo, de acuerdo con la invención, se puede entregar para cada uno de los objetos también una imagen de objeto.

El procedimiento de acuerdo con la invención puede, de manera similar, perfeccionarse y muestra, en este caso, ventajas similares. Características ventajosas de este tipo son ejemplares, sin embargo, no se describen al final en las reivindicaciones dependientes que se vinculan a las reivindicaciones independientes.

A continuación, se explica a modo de ejemplo la invención más en detalle, también con respecto a otras características y ventajas, mediante formas de realización y bajo referencia a los dibujos adjuntos. Las ilustraciones de los dibujos muestran en:

la Fig. 1, una vista tridimensional esquemática de un dispositivo de cámara sobre una cinta transportadora con objetos a ser detectados;

la Fig.2, una representación en sección adicional de cámaras individuales del dispositivo de cámara junto con sus campos de visión;

la Fig. 3, un diagrama de bloques de un dispositivo de cámara;

la Fig.4, un tapete de imágenes ejemplar de una secuencia de imágenes individuales ya dispuestas correctamente;

la Fig. 5, un diagrama de flujo esquemático para generar, con ayuda de datos geométricos, una imagen de objeto compuesta a partir de imágenes individuales;

la Fig.6, una representación ejemplar de las imágenes individuales seleccionadas para una imagen de objeto, a la vez, una sección de la Figura 4; y

la Fig. 7, una representación ejemplar de imágenes de objeto compuestas por imágenes individuales, que están representadas para la ilustración junto con todas las imágenes individuales de acuerdo con la Figura 4.

La Figura 1 muestra una vista tridimensional esquemática de un dispositivo 10 de cámara sobre una cinta 12 transportadora con objetos 14 a ser detectados, sobres los que, a modo de ejemplo pero no necesariamente, están añadidos códigos 16. La cinta 12 transportadora es un ejemplo para la generación de un flujo de objetos 14 que se mueven con respecto al dispositivo 10 de cámara estacionario. Alternativamente, el dispositivo 10 de cámara se puede mover, o los objetos 14, en caso de montaje estacionario del dispositivo 10 de cámara, se mueven por otro medio que la cinta 12 transportadora o por movimiento propio. El dispositivo 10 de cámara comprende varias cámaras 181..18n individuales, en donde n > 2 y en la Figura 1, a modo de ejemplo, n = 4.

La Figura 2 muestra adicionalmente la disposición de las cámaras 181..18n individuales y sus campos 20 de visión sobre la cinta 12 transportadora en una representación en sección. El dispositivo 10 de cámara se explica adicionalmente bajo referencia a las Figuras 1 y 2.

Las cámaras 181..18n individuales presentan, respectivamente, un sensor de imagen no representado, con una pluralidad de elementos receptores de luz dispuestos en una fila de píxeles o una matriz de píxeles, así como un objetivo. Las cámaras 181..18n individuales son, preferiblemente, de construcción idéntica entre sí para reducir la complejidad del sistema. Sin embargo, pueden trabajar con diferentes parámetros de captación, en particular, enfocar de manera diferente. En la Figura 1 y 2, las cámaras 181..18n individuales están dispuestas por encima de la cinta 12 transportadora. También es concebible otra disposición desde delante, detrás, lateral o una dirección intermedia inclinada. Además, las cámaras 181..18n individuales, o disposiciones de ellas, pueden montarse en varias perspectivas para detectar lados adicionales de los objetos 14, en particular entonces, cuando se debe generar una imagen de objeto, todavía a ser descrita, en forma de un modelo 3D de los objetos 14 detectados.

En forma de realización preferida, las cámaras 181..18n individuales están configuradas como lectores de códigos, las cuales, adicionalmente, están equipadas con una unidad de decodificación para leer informaciones de código y correspondientes preprocesamientos para localizar y preparar regiones de código. Sin embargo, también es concebible detectar flujos de objetos 14 sin códigos 16 y, en consecuencia, renunciar a la propia unidad de decodificación o a su utilización, por ejemplo, para la inspección o el control de calidad. Además, una decodificación también puede tener lugar después, fuera de las cámaras 181..18n individuales, sobre sus datos de imagen. Las cámaras 181..18n individuales pueden ser tanto cámaras separadas como también unidades de detección dentro de la misma cámara.

La cinta 12 transportadora es demasiado ancha para ser detectada por una cámara 181..18n individual. Por eso, los campos 20 de visión de las cámaras 181..18n individuales se superponen en dirección transversal de la cinta 12 transportadora y, por tanto, las imágenes individuales respectivamente generadas por las cámaras 181..18n individuales. Por eso, en las regiones de superposición los datos de imagen en varias imágenes individuales se encuentran a disposición de manera redundante. Esto se utiliza de una manera, todavía a ser descrita, para poder componer una imagen conjunta en cualquier parte dentro de una región 22 de trabajo, que comprende toda la anchura relevante de la cinta 12 transportadora. El grado de la superposición de campos 20 de visión y, en consecuencia, de imágenes individuales, es variable según cada forma de realización. En particular, también es factible una superposición completa y, por lo tanto, alta redundancia, por ejemplo, para captar imágenes individuales de secciones de objetos 14 con diferente posición del foco, de modo que partes de objetos que se encuentran juntos cerca, solo se captan desenfocadas. Independientemente del grado de la superposición, un sistema de varias cámaras 181..18n individuales tiene la ventaja de que al contrario que con solo una unidad de detección, ahora se hacen posibles diferentes enfoques a través de la anchura total, según la altura del objeto 14 respectivamente detectado, en la sección de anchura para la que la respectiva cámara 181..18n individual es responsable.

Con respecto al sentido de movimiento de la cinta 12 transportadora, por encima de las cámaras 181..18n individuales está dispuesto un sensor 24 de detección de geometría, por ejemplo, en forma de un en sí conocido escáner láser que mide la distancia, que con su área de detección cubre toda la cinta 12 transportadora. El sensor 24 de detección de geometría mide el contorno tridimensional de los objetos 14 sobre la cinta 12 transportadora, de modo que el dispositivo 10 de cámara, ya antes del procesos de detección de las cámaras 181..18n individuales, conoce datos geométricos de los objetos 14, de los cuales, por ejemplo, resultan dimensiones, volumen, posición y forma. Además, los datos geométricos se pueden utilizar para enfocar individualmente las cámaras 181..18n individuales sobre la respectiva altura de objeto.

Para la generación de una imagen de objeto descrita a continuación, los datos geométricos, preferiblemente, se procesan adicionalmente, de modo que para cada uno de los objetos 14 se obtiene un polígono, en particular, un rectángulo, el cual circunda el objeto 14. Si, como imagen de objeto, debe producirse un modelo 3D completo, de esta manera, se proporcionan correspondientes datos geométricos del contorno 3D del objeto. Para la simplificación, el objeto 14 puede envolverse con un cuerpo sencillo, por ejemplo, un paralelepípedo (Bounding Box). Por medio de los datos geométricos ya tiene lugar, por lo tanto, una segmentación de los objetos 14 independientemente de los datos de imagen de las cámaras 181..18n individuales.

Un escáner láser tiene un ángulo de visión muy grande, de modo que también son detectables cintas 12 transportadoras anchas. No obstante, en otra forma de realización, se pueden disponer sensores de detección de geometría adicionales uno al lado del otro, también para reducir efectos de sombreado mediante diferentes alturas de objeto. Además, es concebible disponer escáneres láser adicionales u otros sensores de detección de geometría en otras perspectivas, o sea, no solo desde arriba como está representado, para conocer más sobre los contornos 3D de los objetos 14. Por último, en otras formas de realización, la detección de geometría puede estar integrada en las cámaras 181..18n individuales.

Las cámaras 18i..18n individuales están calibradas intrínsecamente, todas las posiciones de cámara son conocidas y, bien están orientadas paralelas entre sí o, al menos, de manera conocida. Para las respectivas imágenes individuales de las cámaras 181..18n individuales, preferiblemente, también son conocidos parámetros de cámara intrínsecos dinámicos, como la posición del foco, los parámetros de cámara extrínsecos y una marca temporal del momento de captación. Además, posición y orientación del sensor 24 de detección de geometría, así como el momento de detección de los datos geométricos son conocidos, de modo que los datos geométricos y los datos de imagen pueden convertirse en un sistema de coordenadas común. Para tener en cuenta la, por lo tanto, conocida relación temporal entre datos geométricos y datos de imagen, con un codificador 26 se monitoriza el avance o bien la velocidad de la cinta 12 transportadora. Alternativamente, la cinta 12 transportadora se mueve de manera confiable con un perfil de movimiento conocido, o correspondientes informaciones se transmiten al dispositivo 10 de cámara por un control superior.

En muchos sistemas de lectura convencionales, es habitual una activación de la captación de imagen, o bien de la lectura de código, a través de una barrera de luz anterior o, también, un escáner láser. El dispositivo 10 de cámara de acuerdo con la invención trabaja, por el contrario, preferiblemente en un modo de marcha libre, en el que se detectan datos geométricos y datos de imagen continuos. Los objetos 14 se segmentan, por lo tanto, a partir del flujo de objetos con ayuda del sensor 24 de detección de geometría. Como está representado en la Figura 1, también está permitido que los objetos 14 se encuentren uno al lado del otro e, incluso, se toquen, lo que en un sistema activado causaría dificultades considerables.

La Figura 3 muestra de nuevo el dispositivo 10 de cámara en un diagrama de bloques muy simplificado. Los datos geométricos y los datos de imagen, determinados por el sensor 24 de detección de geometría de las cámaras 181..18n individuales se transmiten a una unidad 28 de control y de evaluación. Ahí, los diferentes datos se normalizan y evalúan en un sistema de coordenadas común. Según cada forma de realización, los datos geométricos o los datos de imagen, parámetros vinculados con ellos o tamaños obtenidos de ellos, se entregan, a través de una salida 30, como polígonos o contenidos de códigos que circunscriben objetos 14 en diferentes etapas de procesamiento. Las funciones de la unidad 28 de control y de evaluación pueden, contrario a la representación, estar también distribuidas, por lo tanto, al menos algunos pasos de evaluación pueden tener ya lugar en el sensor 24 de detección de geometría o en las cámaras 181..18n individuales, o al revés, también primero de manera externa.

Los datos de salida deseados dependen de la forma de realización concreta y de su configuración. En una forma de realización preferida, para cada uno de los objetos 14 se entrega el volumen, también en forma de una medición de volumen certificada, por ejemplo, con mercancías voluminosas y/o el contenido del código 16 añadido sobre el objeto 14. Otras formas de realización se interesan en otros tamaños de salida. De acuerdo con la invención, en cualquier caso, se genera una imagen de objeto y se pone a disposición para una salida, la cual muestra individualmente el respectivo objeto 14 y se le asignan otros tamaños de salida, como volumen o contenido de código.

La generación de esta imagen de objeto a partir de imágenes individuales, se explica ahora más en detalle bajo referencia a las Figuras 4 a 7. Una idea fundamental es, en este caso, que se recurre a los datos geométricos para la fusión de imágenes individuales en una imagen de objeto. Esto es posible, porque mediante la calibración y detección ya descritas de relaciones temporales, se pueden asignar datos geométricos y datos de imagen de las imágenes individuales. No es necesaria una segmentación de los objetos 14 en los datos de imagen, porque tiene lugar de manera mucho más sencilla mediante los datos geométricos. Esto logra el requisito para una rápida fusión de imágenes basada en objetos con alto rendimiento. En este caso, sin embargo, se debe tener en cuenta que la imagen de objeto en muchos casos de aplicación, al contrario que el contenido de código, no se necesita para una clasificación crítica en tiempo, sino que solo posteriormente (Video Coding). Por ello, si bien la invención logra la base para una generación rápida y, en principio, también en tiempo real de imágenes de objeto, a menudo, sin embargo, también está a disposición posteriormente todavía al menos una ventana temporal determinada para ello.

Para la explicación de la generación de una imagen de objeto de un objeto 14 individual a partir de las imágenes individuales, la Figura 4 muestra, en primer lugar, como punto de partida un ejemplo de imágenes individuales que se han producido a lo largo de un determinado periodo de captación y detectan un parte del flujo de los objetos 14. Las imágenes individuales (Frames) se clasifican de acuerdo con la posición de la cámara 181..18n individual que las genera y de la secuencia temporal. La disposición de las imágenes individuales corresponde, por lo tanto, gracias a la calibración planteada varias veces, al ajuste temporal e informaciones de coordenadas de la situación sobre la cinta 12 transportadora.

La Figura 4 muestra una especie de tapete de imágenes individuales, que están archivadas en un búfer circular, apareciendo las secciones de imagen y, en particular, vistas parciales de los objetos 14, redundantes en varias imágenes individuales contiguas. Esto se encuentra en dirección horizontal en la superposición de los campos 20 de visión de las cámaras 181..18n individuales. En dirección vertical, la superposición, y con ello la redundancia, está relacionada con el período de captación de las cámaras 181..18n individuales que, al menos, es algo más corto que el tiempo que necesita la cinta transportadora para recorrer una distancia correspondiente a la altura de las imágenes individuales. En principio, por supuesto seria concebible, disponer varias cámaras 181..18n individuales también en sentido de transporte y generar el tapete de imágenes en un paso o, en cualquier caso, en menos pasos, que las líneas que presenta de imágenes individuales.

Adicionalmente a las imágenes individuales, la Figura 4 ilustra también los datos geométricos relacionados, a partir de los cuales aquí, respectivamente, se obtuvo un rectángulo que circunscribe para cada uno de los objetos 14. El rectángulo se puede generar y utilizar de manera particularmente sencilla. Siempre que el objeto 14 este moldeado irregular, se puede utilizar un paralelepípedo mínimo circundante (Bounding Box), a partir del cual se genera el rectángulo. Alternativamente, por supuesto, también son posibles otros polígonos complicados o también otras formas geométricas.

En la Figura 4, el rectángulo que circunscribe está representado como línea clara. El rectángulo no es reconocible directamente, dado que está interrumpido y parcialmente repetido mediante la superposición de las imágenes individuales. El rectángulo, a consecuencia de la calibración, la geometría conocida de la construcción del dispositivo 10 de cámara y normas de transformación resultantes de ello, así como de las relaciones temporales o bien del avance de la cinta transportadora 12, se coloca de manera correcta alrededor de los objetos 14, sin considerar para ello los datos de imagen de las imágenes individuales. Esto, por lo demás, es solo una ilustración, para la fusión de imágenes de objeto se trata de poder acceder de manera específica y sin su análisis a datos de imagen dentro del rectángulo.

La Figura 5 muestra un diagrama de flujo esquemático para un proceder a modo de ejemplo para la generación de una imagen de objeto compuesta de imágenes individuales con ayuda de datos geométricos.

En primer lugar, en un paso S1, mediante las cámaras 181..18n individuales, se detectan imágenes individuales para una determinada sección del flujo de los objetos 14 transportados sobre la cinta 12 transportadora. Al mismo tiempo, en sentido estricto, en una disposición como en la Figura 1, respectivamente, poco antes, se detectan datos geométricos por medio del sensor 24 de detección de geometría. Los datos de imagen y los datos geométricos se transforman en un sistema de coordenadas común. El resultado de este paso S1 es el punto de partida para la fusión de imágenes, como se ilustró y explicó en la Figura 4 a modo de ejemplo como tapete de imágenes con, como consecuencia de los datos geométricos, objetos 14 rodeados por un rectángulo - o bien fragmentos de objeto cada imagen individual.

En un paso S2, ahora se buscan las imágenes individuales a partir del tapete de imágenes, que son necesarias para una imagen de objeto del objeto 14 individual considerado. Los datos geométricos, o sea, en el ejemplo el rectángulo, permiten una decisión muy sencilla y rápida, de en qué imágenes individuales están representadas partes de este objeto 14. En algunos casos, el objeto 14 es tan pequeño, que cabe entero en una imagen individual. Entonces se puede renunciar a la fusión. Alternativamente, mediante la fusión de imágenes, se pueden mejorar los datos de imagen en las regiones de borde de esta imagen individual.

Para la fusión de imágenes en sí, que comienza en el paso S3, la preselección de imágenes individuales en el paso S2 sirve como entrada para el algoritmo de stitching. La fusión de imágenes tiene lugar, preferiblemente, en primer lugar con dos imágenes individuales contiguas y, luego, se añaden gradualmente otras imágenes individuales en los bordes. Por lo tanto, es suficiente entender cómo se unen dos imágenes de partida, respectivamente.

En las imágenes de partida, se buscan características de imagen coincidentes. En general, se buscan tales correspondencias en todas las direcciones. La disposición de acuerdo con la Figura 1, sin embargo, permite una limitación que ahorra mucho costo y, por ello, se aprovecha, preferiblemente. Puesto que las cámaras 181..18n individuales están colocadas en hilera una al lado de la otra y orientadas paralelas entre sí. Por eso, es suficiente buscar una correspondencia a lo largo de las líneas epipolares, por lo cual, para la correlación se puede ignorar la segunda dimensión perpendicular a esto. En el caso general, en particular, cuando no hay una dirección preferida particular de las líneas de imagen de las cámaras 181..18n individuales o no es conocido nada sobre esto, la búsqueda de líneas epipolares también se realiza en sentido de transporte. En este caso, se puede decidir si se deben inspeccionar, por medio de geometría de líneas epipolares, 4° u 8° o también de todas las relaciones de adyacencia.

Los datos geométricos permiten incluso todavía otra simplificación, que también evita mucho costo. Como es reconocible en la Figura 2, hay una relación entre la altura de objeto y las posibles distancias, que pueden tener entre sí características de imagen captadas por diferentes cámaras 181..18n individuales. Por eso, en la búsqueda de correspondencia, preferiblemente, se trabaja con una ventana de búsqueda muy estrecha, que se adapta antes con ayuda de los datos geométricos al objeto 14 individual concreto.

En un paso S4, ahora se registran las imágenes de partida la una con la otra, mediante las correspondencias de características encontradas en el paso S3. Por lo tanto, se disponen la una con la otra de modo que las características correspondientes se encuentran una tras otra. Esto en la práctica no es, por supuesto, perfectamente posible, más bien se minimizan los errores residuales de las distancias restantes.

En un paso S5, ahora se busca una costura de unión adecuada. Fundamentalmente, las imágenes de partida, después del paso S4, ya se encuentran correctamente entre sí, existiendo todavía en la región de superposición informaciones de imagen redundantes de las dos imágenes de partida. Por lo tanto, simplemente se podría descartar en cada uno de los píxeles de la región de superposición, la información de una cualquiera de las dos imágenes de partida, crear un valor medio o similar. De esta manera, sin embargo, por lo general, habrá artefactos de fusión visibles. Por eso, preferiblemente, una costura de unión se conduce a través de regiones con el menor contraste posible de la región de superposición. A este lado de la costura de unión se utilizan datos de imagen de una imagen de partida y, al otro lado, de la otra imagen de partida para la imagen de objeto. Si en este caso, también se llegan a descartes en la costura de unión, de esta manera, estos son apenas visibles, o bien, de esta manera se pierde en cualquier caso muy poca información, dado que la región con poco contraste de por sí apenas contuvo informaciones.

En un paso S6 final, las imágenes individuales a lo largo de la respectiva costura de unión, se componen en una imagen de objeto. Como ya se ha mencionado, los pasos S2 a S6 pueden realizarse también de manera sucesiva para respectivamente otra imagen individual y una imagen de objeto producida.

Los pasos descritos también puede paralelizarse. Esto es válido, en particular, para un trabajo en paralelo de los pasos S3 extracción de características, S4 registro de imagen, S5 estimación de costura y S6 unión para diferentes imágenes individuales. Mediante utilización de hardware eficiente, como procesadores de vario núcleos o GPU (Graphical Processing Unit), de esta manera, se puede lograr un rendimiento muy alto y, en caso necesario, también un sistema en tiempo real.

La Figura 6 muestra, a modo de ejemplo para la ilustración del proceso descrito ahora mismo, las imágenes individuales seleccionadas de todas las imágenes individuales del tapete de imágenes en el paso S2, de un objeto individual junto con rectángulo circundante, el cual representa los datos geométricos. Esto es, al mismo tiempo, la sección relevante para este objeto 14 del tapete de imágenes mostrado en la Figura 4.

La Figura 7 muestra, a modo de ejemplo, el resultado final. En el centro, está representado de nuevo el tapete de imágenes de acuerdo con la Figura 4. A los lados se muestran imágenes de objeto de todos los objetos 14 contenidos dentro, después de la respectiva fusión de imágenes, que están unidos mediante una raya de ayuda clara con el respectivo objeto asignado en las imágenes individuales del tapete de imágenes.

Las imágenes de objeto todavía se pueden someter a un postprocesamiento. Esto se refiere, por un lado, a una corrección de claridad, puesto que las imágenes individuales, que precisamente se captaron por diferentes cámaras 181..18n individuales y, bajo circunstancias, también con diferentes parámetros de captación, en particular, posiciones del foco, pueden diferenciarse en su claridad. Por eso, tiene sentido compensar las claridades o, al menos, proporcionar una transición fluida en las costuras de unión.

Otro postprocesamiento preferido, corta a medida la imagen de objeto sobre el objeto 14 (Cropping). Como se puede ver en la Figura 7, la imagen de objeto contiene, por lo demás, regiones de imagen adicionales todavía en parte considerables, también con otros fragmentos de objeto. Mediante los datos geométricos, aquí en concreto el rectángulo circundante, la posición del objeto 14 en la imagen de objeto es conocida con mucha precisión, de modo que el objeto puede recortarse sin cualquier tipo de procesamiento de imagen. Una región de borde adicional definida alrededor del objeto sigue siendo posible, también esto se puede solucionar en el plano de los datos geométricos sin recurrir a los datos de imagen concretos.

En otro paso de postprocesamiento preferido, el objeto se rota a una orientación normalizada. Para ello, únicamente debe rotarse el rectángulo obtenido a partir de los datos geométricos, la determinación de la orientación real del objeto y, con ello, de la rotación requerida es totalmente sin problemas e independiente de los datos de imagen concretos. La orientación normalizada es, en el caso de un rectángulo, preferiblemente enrasada con la dirección horizontal o bien vertical. La rotación se une, preferiblemente, con un cropping, para que la propia imagen de objeto permanezca rectangular en conjunto.

Si, a partir de los datos geométricos, no solo se tiene en cuenta el rectángulo circundante plano, como está representado, de esta manera, también es posible una corrección en perspectiva. En una forma de realización, se queda en un rectángulo obtenido a partir de los datos geométricos que, sin embargo, ahora se describe mediante coordenadas tridimensionales y no solo bidimensionales. De esta manera, se pueden tener en cuenta superficies de objetos 14, que no se encuentran perpendiculares con respecto a las cámaras 181..18n individuales. Esto cierra el caso, de que las cámaras 181..18n individuales están orientadas con una inclinación determinada con respecto a la vertical que, por ejemplo, puede ser útil debido a reflejos de brillo. Sin embargo, los datos geométricos también permiten tener en cuenta y corregir una superficie irregular del objeto 14.

En los ejemplos de realización explicados hasta ahora, las cámaras 181..18n individuales captan sus imágenes individuales desde una única perspectiva, por ejemplo, desde arriba. Por consiguiente, las imágenes de objeto son vistas superiores bidimensionales sobre el objeto 14 correspondiente. En un perfeccionamiento, con un proceder totalmente análogo, es concebible prever las cámaras 181..18n individuales en varias perspectivas, por ejemplo, desde arriba, lateralmente, desde delante y/o detrás, o bien, en perspectivas intermedias inclinadas, y así obtener otras vistas de objeto. Los datos geométricos ayudan, en este caso, de manera totalmente análoga. El sensor 24 de detección de geometría entrega a menudo no solo rectángulos circundantes a ser procesados de manera particularmente sencilla, sin contornos 3D completos de los objetos 14. Por lo tanto, es posible crear una imagen de objeto en forma de un modelo 3D completo de un objeto 14 individual. La forma 3D es conocida a partir de los datos geométricos. Las texturas para las superficies individuales se obtienen con ayuda de datos geométricos de manera totalmente análoga, como se describió para las Figuras 4 a 7. Entonces, posteriormente se puede considerar el objeto 14 a través de la imagen de objeto detectada como modelo 3D desde todos los lados, si en la correspondiente perspectiva se montaron cámaras 181..18n individuales y se evaluaron sus imágenes individuales.

De acuerdo con la invención, se componen imágenes de objeto en base a los datos geométricos de imágenes individuales. Alternativamente, también sería concebible juzgar las imágenes individuales en base a contenido, para diferenciar objetos en el fondo. Esta forma de la segmentación es, sin embargo, al contrario a una segmentación a causa de datos geométricos, computacionalmente muy costosa y propensa a errores. Otra alternativa consiste en fusionar continuamente las imágenes individuales, o sea, prácticamente el tapete de imágenes completo de la Figura 4, y luego recortar imágenes de objeto de objetos 14 individuales de la imagen completa. En este caso, sin embargo, también se fusionan imágenes individuales, que realmente no son necesarias en absoluto en ausencia del objeto 14 representado. El problema de segmentación tampoco estaría resuelto, aquí también se debería diferenciar en base a imágenes entre el objeto 14 y el fondo. En principio, también es concebible, utilizar datos de enfoque para concluir en objetos 14 en las imágenes individuales o utilizar un activador en forma de un sensor anterior para, al menos en sentido de transporte, encontrar una selección adecuada de imágenes individuales para un objeto 14 individual.

Claims (13)

REIVINDICACIONES

1. Dispositivo (10) de cámara para detectar un flujo de objetos (14) en movimiento con respecto al dispositivo (10) de cámara, con varias cámaras (181..18n) individuales que, respectivamente, presentan un sensor de imagen matricial para la captación de imágenes individuales bidimensionales, cubriendo las imágenes individuales respectivamente una parte de la anchura del flujo y se superponen parcialmente unas con otras, con una unidad (28) de evaluación para la composición de imágenes individuales y con un sensor (24) de detección de geometría para la detección de datos geométricos de los objetos (14) caracterizado porque la unidad (28) de evaluación está configurada para detectar una parte del flujo de los objetos (14) como un tapete de imágenes, en el que, a lo largo de un período de captación, se clasifican imágenes individuales generadas con un período de captación y correspondientes a la posición de la cámara (181..18n) individual que las genera y la secuencia temporal, para seleccionar, en base a los datos geométricos, aquellas imágenes individuales del tapete de imágenes que se necesitan para una imagen de objeto de un objeto (14) individual del flujo de objetos (14), y componer la imagen de objeto a partir de las imágenes individuales seleccionadas.

2. Dispositivo (10) de cámara según la reivindicación 1, presentando los datos geométricos una superficie, en particular, un rectángulo, que circunde al objeto (14) individual.

3. Dispositivo (10) de cámara según la reivindicación 1, en donde los datos geométricos describen el contorno 3D de un objeto (14) individual.

4. Dispositivo (10) de cámara según la reivindicación 1 ó 2, estando la unidad (28) de evaluación configurada para localizar el objeto (14) individual como consecuencia de los datos geométricos.

5. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para, mediante los datos geométricos, recortar la imagen de objeto sobre el objeto (14) individual.

6. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para, mediante los datos geométricos, rotar la imagen de objeto a una orientación normalizada.

7. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para, mediante los datos geométricos, corregir en perspectiva la imagen de objeto.

8. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para, mediante los datos geométricos, comprobar la orientación de una superficie de objeto de una cámara (181..18n) individual y, de esta manera, localizar regiones en las imágenes individuales en las que pueden aparecer reflejos directos.

9. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando las cámaras (181..18n) individuales dispuestas en una hilera, y estando la unidad (28) de evaluación configurada para, al componer la imagen de objeto, buscar características de imagen correspondientes con ayuda de geometría epipolar, en particular, a lo largo de líneas epipolares.

10. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para, al componer la imagen de objeto, buscar características de imagen correspondientes entre sí en una región de cambio de las características de imagen, que se elige en función de la distancia deducida a partir de los datos geométricos del objeto (14) individual.

11. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando la unidad (28) de evaluación configurada para colocar la costura de unión de la imagen de objeto en la región de superposición de dos imágenes individuales a través de regiones de imagen con el menor contraste posible.

12. Dispositivo (10) de cámara según una de las reivindicaciones precedentes, estando al menos una cámara (181..18n) individual configurada como lector de códigos basado en cámara.

13. Procedimiento para detectar un flujo en movimiento de objetos (14), en el que por medio de cámaras (181..18n) individuales con sensores matriciales, se captan imágenes individuales bidimensionales y se componen, que respectivamente cubren una parte de la anchura del flujo y se superponen al menos parcialmente la una con la otra, detectándose adicionalmente datos geométricos de los objetos (14), caracterizado por que una parte del flujo de los objetos (14) se detecta como un tapete de imágenes, en el que, a lo largo de un período de captación, se clasifican imágenes individuales generadas con un período de captación y correspondientes a la posición de la cámara (181..18n) individual que las genera y la secuencia temporal, para seleccionar, en base a los datos geométricos, aquellas imágenes individuales del tapete de imágenes que se necesitan para una imagen de objeto de un objeto (14) individual del flujo de objetos (14), y la imagen de objeto se compone a partir de las imágenes individuales seleccionadas.