ES2296452B2 - Detector de pedunculos y tallos vegetales basado en la designacion optica con laser de linea. - Google Patents

Abstract

Detector de pedúnculos y tallos vegetales basado en la designación óptica con láser de línea.

Esta invención resuelve el problema de designar y estimar con precisión la posición 3-D de un punto de un pedúnculo o de un tallo mediante la utilización de un diodo láser de línea para generar instantáneamente sobre él una marca óptica perfectamente identificable. Un láser de línea es un diodo láser de "spot" convencional con una lente que esparce la luz en ángulo piano o abanico que, al alcanzar el pedúnculo (o tallo), produce sobre él una marca óptica. A partir de la Imagen o Imágenes de la escena tomadas por el sensor o sensores de visión, se puede encontrar la posición 3-D del punto marcado por un proceso convencional de triangulación, y, en consecuencia, dirigir con precisión un manipulador robótico para realizar la tarea deseada: recolección, trasplante, etc.

Description

Detector de pedúnculos y tallos vegetales basado en la designación óptica con láser de línea.

Sector técnico

La invención se enmarca en el sector de los sistemas automatizados para uso en agricultura, y en concreto en el de sistemas robotizados, basados en visión artificial, para tareas de manipulación y recolección en horticultura.

Estado de la técnica

Es conocido el interés de diversos sectores de explotación agraria, en especial de la industria hortícola, por disponer de sistemas robotizados, automatizados o semiautomatizados, de manipulación y recolección de frutos, hortalizas, flores y otros productos vegetales para diferentes modalidades de cultivo, incluyendo, por ejemplo, frutos en árbol o arbusto y frutas, flores u hortalizas cultivadas en suelo o en alto.

Se cuentan por cientos las invenciones protegidas que abordan soluciones parciales o integrales del problema, normalmente referidas a un tipo de cultivo y, con frecuencia, a una especie de planta. Así, abundan las propuestas de vehículos autónomos o semiautónomos, brazos y manipuladores robóticos y sus esquemas de control, elementos terminales de recolección, etc.

Cualquiera que sea la aplicación prevista, uno de los elementos comunes de un sistema automatizado de manipulación o recolección de productos vegetales es el subsistema de visión, es decir, el conjunto de dispositivos y algoritmos cuya misión es la detección y localización de la fruta, hortaliza, etc. y que sirve para dirigir hacia ella el elemento mecánico manipulador o recolector propiamente dicho (típicamente un elemento robotizado, como por ejemplo un brazo con los elementos terminales adecuados para cortar, aprehender, etc.). El subsistema de visión suele estar formado por una o varias cámaras CCD, a veces complementadas por un sensor adicional de medida de profundidad (distancia en la dirección de visión), cuya información es procesada para determinar la posición aproximada de la fruta, hortaliza, etc.

En un sistema de visión para aplicaciones de este tipo son posibles varias combinaciones de elementos y varios modos de operación: La cámara (o cámaras) puede ir fija sobre el vehículo principal o bien en el extremo del brazo recolector, o bien una puede ir fija y otra en el brazo; el elemento auxiliar para la determinación de la coordenada de profundidad puede ser un dispositivo óptico, infrarrojo o de ultrasonidos, con motores de barrido o sin ellos, etc. A modo de ejemplo genérico abstraído de las numerosas posibilidades existentes, podríamos imaginar como típico un sistema de recolección de frutos constituido por una cámara que toma una imagen 2-D de la escena y un sistema de procesado en un PC, que detecta la presencia y estima la posición bidimensional del fruto a partir de la información de color, forma, etc. y que determina la distancia aproximada (profundidad) a la que se encuentra mediante la información de un sensor de distancia de alguno de los tipos mencionados, instalado, por ejemplo, en el brazo recolector. En todo caso, el objetivo es determinar la región a la que guiar el extremo del manipulador, que recolecta la fruta por succión, tracción o corte.

En todos los casos, y especialmente en la recolección por corte, uno de los problemas críticos sin resolver satisfactoriamente es el de la detección precisa del pedúnculo y más concretamente de un punto del pedúnculo sobre el que actuar el elemento de corte, sea éste del tipo que sea. Con carácter general, los sistemas de visión localizan con precisión suficiente la posición de la masa del fruto, pero no la del pedúnculo. Es posible, desde luego, con dispositivos especializados, generar un mapa 3-D con los contornos detallados de la escena, incluyendo los de los pedúnculos, pero el problema de identificar y designar eficazmente un punto concreto del pedúnculo deseado persiste.

Algunas de las soluciones ideadas hasta la fecha comprenden:

- La detección del pedúnculo por contacto (como se describe en las patentes JP8103138, JP5174131 6 JP5168333), que consiste básicamente en que una vez alcanzada la fruta por la mano del robot, se recorre hasta que se detecta, por contacto, la posición del pedúnculo.

- La detección mediante sensores de tipo electroóptico o fotoeléctrico (como el descrito en la patente JP8056459), que basa su operación en un array de sensores en la mano del robot, que, al alcanzar la fruta, detectan la obstrucción de la luz provocada por el pedúnculo.

- La estimación de la posición del pedúnculo mediante alguna aproximación algoritmica. En la patente JP2001095348 se estima la posición de un punto del pedúnculo de una fresa extrapolando una recta que pasa por el centroide de la fruta y un punto del cáliz.

Esta invención resuelve el problema mediante la utilización de un diodo láser de línea, orientado y gestionado de tal forma que genera instantáneamente una marca óptica perfectamente identificable en un punto del pedúnculo de la fruta, hortaliza, etc. a recolectar. Un láser de línea es un diodo láser de "spot" convencional con una lente que esparce la luz en ángulo plano o abanico y por tanto proyecta una línea de luz sobre una superficie plana. A partir de la imagen o imágenes tomadas por el sensor o sensores de visión CCD, se puede encontrar la posición 3-D del punto marcado por un proceso convencional de triangulación.

Es evidente que la invención se puede utilizar en todas aquellas aplicaciones hortícolas o frutícolas en las que sea necesario detectar y localizar con precisión el pedúnculo de un fruto o bien el tallo de un vegetal, como el de una flor ornamental: en general, un elemento vegetal comparativamente estrecho y alargado. Este es el caso de las operaciones de recolección de frutas y flores; pero no sólo de recolección, sino otras de manipulación, como el injerto o el trasplante.

Se hace notar en este punto que la utilización de diodos láser de "spot" para marcar referencias ópticas en aplicaciones de recolección es tan antigua como prueba la patente US4519193 (en la que el pedúnculo, no obstante, se detecta mediante sensores fotoeléctricos).

Lo que hace específica esta invención es la utilización de un láser de línea para marcar instantáneamente y con precisión de milímetros o fracciones de milímetro un punto del pedúnculo de una fruta previamente identificada o el tallo de una planta o de una flor.

Las ventajas son:

- El método es instantáneo, no requiere barrer o apuntar sucesivamente un dispositivo de precisión sincronizado con el sistema de captación de imágenes.

- Es barato, basado en una tecnología comercial, accesible, de gran público.

- Es fiable y robusto, puesto que no se requiere el uso de algoritmos de detección y estimación de bordes en las imágenes.

Descripción detallada

Esta invención resuelve el problema de localización y designación 3-D precisa de un punto del pedúnculo de una fruta, hortaliza, etc., o del tallo de una flor, planta, etc. mediante el uso de un diodo láser comercial de línea en combinación con un sensor de visión monoscópico o estereoscópico (cámaras CCD). Por conveniencia expositiva, esta descripción se referirá conceptualmente a la localización del pedúnculo de una fruta aunque el método es igual y directamente aplicable a la localización del tallo de una flor o vegetal.

Son bien conocidos los métodos para detectar la presencia de una fruta (u otro elemento vegetal singular como la corola de una flor, etc.) y determinar aproximadamente su posición en el plano de la cámara (2-D) o en el espacio 3-D. Estos métodos están normalmente basados en una segmentación previa de la escena por color, forma, etc. para identificar la presencia del fruto, por ejemplo, seguida de un proceso de estimación 2-D ó 3-D de su posición. Sin embargo, por sí solos, estos sistemas no son capaces de determinar la posición precisa de un punto 3-D de su pedúnculo, lo que es imprescindible en aquellas aplicaciones en las que se requiera guiar con precisión un mecanismo terminal de manipulación o corte, que opere sin tocar la fruta, cortar otros pedúnculos o dañar la planta. Con carácter general, estos sistemas operan llevando el elemento terminal del manipulador robótico hasta la región en la que se presume que está el pedúnculo.

Esta invención se basa en orientar un diodo láser de línea hacia la zona superior de la fruta detectada, en la que se sabe que está su pedúnculo. El abanico de luz generado ilumina, al alcanzar el pedúnculo, un "spot" o marca sobre él, que aparece aislada en la imagen tomada por la cámara o cámaras. Los otros puntos de la escena iluminados por el haz aparecen marcados en la imagen en pixeles alejados de los de la marca de interés.

La Fig. 1 ilustra su principio de funcionamiento. El láser de línea (1) se orienta hacia la región del pedúnculo (2), formando un cierto ángulo con el eje óptico del elemento de visión (3), que es el plano de visión de la cámara o cámaras. El láser proyecta un haz de luz láser (4) en un ángulo de apertura (5). La parte de haz interceptada (6) por el pedúnculo se refleja en un "spot" o marca (7), cuya posición está determinada en el plano de visión (3) por la posición 3-D del punto (6) del pedúnculo.

La luz del haz no interceptada por el pedúnculo se refleja en los otros elementos del fondo (8). Si éste fuera plano, como se ha supuesto por claridad expositiva en la Fig. 1, el haz láser se proyectaría en él en forma de tramos rectos (9) y se mostrarla del mismo modo en el plano de la imagen, en pixeles (10) separados de la marca (7) del pedúnculo.

La Fig. 2 muestra un corte en alzado de la Fig. 1. El punto (6) del pedúnculo (2) iluminado por el láser (1) se proyecta sobre el elemento de visión (3) en el "spot" (7), mientras que la recta (9) del fondo se proyecta en los pixeles (10), separados de la marca (7).

Obviamente, en un entorno real, el fondo no es una simple superficie plana sino una superficie irregular y compleja (hojas, etc.) y, por tanto, sus reflexiones aparecerán en la imagen también como un conjunto irregular y complejo de pixeles, aislados o conectados, pero en todo caso separados geométricamente del conjunto de pixeles que forman la reflexión aislada de la marca correspondiente al pedúnculo.

El siguiente paso es detectar y localizar la marca del pedúnculo en la imagen y reconstruir su posición en el espacio 3-D, lo que se puede realizar siguiendo alguno de los métodos propuestos en la literatura abierta sobre visión artificial.

Por ejemplo, la detección se puede realizar trabajando en las coordenadas de color, en la de intensidad o en varias. Es el problema de detectar (segmentar) un conjunto de pixeles conectados o vecinos (en este caso formando el "spot" o marca de interés) de características de luminosidad y color singulares, en una determinada región de la imagen. Una de las opciones recomendables es restar pixel a pixel la imagen iluminada por el láser de la imagen sin iluminar, de manera que el fondo se cancela y la imagen resultante contiene sólo intensidad en los pixeles correspondientes a las reflexiones de los puntos iluminados. La imagen podría aparecer como se muestra, a modo de ejemplo, en la Fig. 3, en la que la marca del pedúnculo (7) aparece separada en la coordenada Y de las otras reflexiones (10) captadas, procedentes de otros elementos del fondo. Sobre esa imagen, es inmediato aislar los pixeles de la marca que corresponde al punto iluminado del pedúnculo, sin más que seleccionar aquéllos localizados en la zona de interés.

Aislado el "spot" o marca, se calculan las coordenadas (X e Y) de su centroide en el plano de la imagen y se procede a realizar la reconstrucción tridimensional de su posición 3-D, mediante una simple triangulación, cuyos detalles, que son de dominio público, dependen de la geometría concreta de los sensores que se utilicen: Si el dispositivo de visión es monoscópico (una única cámara), la reconstrucción se realiza triangulando la cámara y el láser, conocidas la dirección de apuntamiento y la posición relativa del láser respecto a la cámara, así como los parámetros característicos de la cámara (distancia focal, zoom, etc.). Si el dispositivo de visión es estereoscópico (dos cámaras), la reconstrucción 3-D se realiza mediante triangulación estereoscópica convencional.

Se hace notar que el efecto de visión estereoscópica y por tanto la reconstrucción 3-D de la marca se puede obtener con dos imágenes tomadas con una única cámara desde posiciones ligeramente desplazadas entre sí.

Reconstruida la posición 3D del punto del pedúnculo (o del tallo en su caso), no queda sino guiar al manipulador para efectuar en ese punto la operación deseada (corte, aprehensión, etc.).

Es evidente que el efecto del haz láser se puede conseguir deflectando mecánicamente o por otros medios un láser de "spot", para emular el efecto de iluminación en abanico que proporciona un láser de línea. Es ésta una solución alternativa que no se recomienda, porque es más lenta (por el contrario, la iluminación en haz del láser de línea es instantánea) y porque requiere implementar un delicado sincronismo entre el sistema de barrido e iluminación del láser y el sistema de visión, sin presentar ninguna ventaja a cambio, ni siquiera la económica.

El diodo láser utilizado puede ser uno comercial de bajo coste, de cualquier color y con la potencia necesaria para iluminar una marca distinguible por las características de sensibilidad del sistema de visión en el entorno de iluminación global de la escena.

Finalmente, se insiste en que el mecanismo descrito para la detección de un punto del pedúnculo de una fruta o vegetal puede utilizarse sin ninguna modificación reseñable para la detección de un punto del pedúnculo floral o del tallo de una flor o vegetal, orientando el láser hacia abajo (tallo) en lugar de hacia arriba (pedúnculo).

Breve descripción de los dibujos

Fig. 1 Vista esquemática en perspectiva del fundamento de operación de la invención. La luz en abanico (4) emitida por el láser de línea (1) que es interceptada por el pedúnculo (o tallo) es captada en (7) aisladamente sobre el elemento de visión.

Fig. 2 Vista en alzado del fundamento de operación de la invención.

Fig. 3 Ejemplo de imagen obtenida al restar la imagen iluminada por el láser de línea de la imagen sin iluminar, mostrando la marca (7) correspondiente a la reflexión en el pedúnculo o tallo, separada de las marcas (10) correspondientes a las reflexiones en los elementos del entorno o fondo de la escena.

Fig. 4 Elementos principales de una posible realización de la invención en configuración estereoscópica. El láser de línea (1) sobre una plataforma orientable en acimut y elevación (11) y el par de cámaras (15) se comunican con y son controladas por el PC o sistema de control (12).

Fig. 5 Elementos principales de una posible realización de la invención en configuración monoscópica. El láser de línea (1) y la cámara (14) van instaladas en el extremo del manipulador; su orientación es controlada por el brazo robótica (16) y las señales de control son suministradas por el PC o sistema de control (12).

Exposición de un modo de realización

La invención se puede realizar de múltiples formas dependiendo de la disposición y geometría relativa elegidas. Independientemente de que la cámara o cámaras estén fijas en un vehículo o plataforma o montadas en un brazo manipulador o dispositivo robótico, el láser de línea puede ir en cualquier mecanismo que permita orientarlo según las necesidades de la aplicación: o sobre una plataforma específica orientable en acimut y elevación o en el mismo brazo robótico articulado.

A modo de ejemplos no limitativos, describiremos los casos de: a) sistema de visión estereoscópico fijo y láser sobre plataforma fija orientable y b) sistema de visión monoscópica y láser montados sobre el brazo robótico.

El caso de sistema de visión estereoscópica y láser sobre plataforma orientable (ambos fijos sobre vehículo) se muestra en la Fig. 4. En esta configuración el láser (1) va montado sobre una plataforma (11) orientable en acimut y elevación. Un sistema de control (12) (el mismo PC encargado de procesar las imágenes), comanda a través de RS232 (13) los ángulos de apuntamiento de la plataforma para dirigir el láser a la zona deseada en la que buscar el pedúnculo. Una vez apuntado, el mismo sistema de control se encarga de activar la alimentación del láser (a través de la línea de alimentación (14)) durante la fracción de segundo necesaria para que las cámaras (15) tomen las imágenes sincronizadamente. A partir de ellas, se reconstruye la posición 3-D del punto del pedúnculo o tallo mediante un proceso convencional de triangulación estereoscópica. Se hace notar que, en este caso, la posición relativa del láser con respecto a las cámaras no se usa en el proceso de triangulación, en la medida que éste es estereoscópico, es decir, se hace con la información del par de imágenes y la geometría de las cámaras exclusivamente. El sistema estereoscópico es, por tanto, tolerante a cambios de posición del láser y no requiere recalibración.

El caso de sistema de visión monoscópica y láser montados en el brazo se muestra en la Fig. 5. Una posible configuración es mantener fijos en el brazo (16) el láser (1) y la cámara (15), encargándose el propio brazo robótico de orientar en la dirección deseada el conjunto, comandado por el sistema electrónico de control (12). En este caso, la reconstrucción 3-D del centroide de la marca se realiza por triangulación, conocidas las posiciones relativas entre láser (1) y cámara (15). De nuevo, la sincronización entre la iluminación del láser y la captura de la cámara se realiza por el mismo sistema de control.

Otras configuraciones son posibles: cualquiera que permita orientar el láser de línea para que el "spot" iluminado en el pedúnculo o tallo se capte por el sistema de visión y se permita por triangulación o reconstrucción estereoscópica la estimación de su posición en el espacio.

Aplicación industrial

La invención tiene aplicación industrial inmediata usada como elemento de designación del punto del pedúnculo o del tallo al que guiar un elemento terminal de recolección, como un elemento cortador situado en la mano de un brazo robótico. Es especialmente adecuado para la recolección automatizada en invernaderos de flores ornamentales y de frutos cultivados en estructuras regulares, en los que un sistema de visión guía al sistema robótico que realiza las tareas. La invención permite designar eficazmente la posición 3-D precisa del punto al que guiar los dedos o el artefacto de corte del dispositivo recolector.

Su característica principal de estimación precisa de un punto del tallo de una planta o plántula habilita a esta invención para ser usada también en máquinas de injerto o de transplante, designando en este caso el punto en el que aprehender el vegetal para realizar las operaciones de manipulación deseadas.

Claims (3)

1. Sistema de detección precisa de un punto del pedúnculo de una fruta o del tallo de un vegetal, planta, flor, etc. para su manipulación o recolección automáticas, basado en visión artificial, caracterizado por utilizar un diodo láser de línea que, al proyectar su haz sobre la región en la que se encuentra el pedúnculo o el tallo, genera sobre él una marca visible aislada fácilmente distinguible y localizable por el sistema de visión mediante reconstrucción 3-D.

2. Sistema según reivindicación 1, en el que el sistema de visión está compuesto por dos cámaras estereoscópicas o por una cámara que genera el mismo efecto tomando dos imágenes desde perspectivas diferentes y que reconstruye la posición 3-D del punto del pedúnculo o tallo a partir de la marca óptica generada por el láser de línea, mediante triangulación estereoscópica.

3. Sistema según reivindicación 1, en el que el sistema de visión está compuesto por una cámara monoscópica y en el que la reconstrucción de la posición 3-D del punto del pedúnculo o tallo a partir de la marca óptica generada por el láser de línea se realiza mediante triangulación entre la cámara y el láser.