ES2785276A1 - Sistema y procedimiento para la estimacion automatica del tamano y masa de aceitunas - Google Patents

Abstract

Procedimiento y sistema para el conteo y la estimación del tamaño y masa de aceitunas de forma automática, que comprende las etapas de capturar una imagen de un conjunto de aceitunas, donde dicha captura se realiza por una cámara comprendida en una campana de adquisición; transformar la imagen RGB al espacio de color HSV; inversión de valores y generación de imagen complementaria; binarización de la imagen invertida por el método de Otsu; procesado morfológico donde se elimina el ruido los pedicelos de los frutos; segmentación individual de los frutos donde se aplica la transformada Watershed para la de detección de líneas divisorias; post-procesado de segmentación individual de los frutos donde se elimina el ruido por sobresegmentación y las aceitunas que no están completamente contenidas en la imagen; y obtención de datos de caracterización a partir de los cuales se obtienen las estimaciones de masa y tamaño correspondientes.

Description

DESCRIPCIÓN

SISTEMA Y PROCEDIMIENTO PARA LA ESTIMACIÓN AUTOMÁTICA DEL TAMAÑO Y

MASA DE ACEITUNAS

Campo de la invención

La presente invención se refiere a un procedimiento que permite el conteo y la estimación individual del tamaño y masa de un grupo de aceitunas, todo ello de forma automática. También es objeto de esta invención definir un sistema con el que se lleva a cabo dicho procedimiento.

La presente invención se encuadra dentro de los procesos para la estimación automática de productos, concretamente, para frutos de la aceituna.

La invención está dirigida a la industria olivícola en general, y especialmente se dirige a los trabajos de estimación de calibrado del fruto de la aceituna, donde la clasificación basada en el tamaño y masa es especialmente importante cuando se procesan industrialmente aceitunas de mesa de alta calidad.

Estado de la técnica

Es sabido que el olivo (Olea europaea) supone en la actualidad uno de los cultivos de mayor desarrollo a nivel mundial. Debido al fuerte crecimiento, en término de demanda y consumo, de estos productos derivados del olivo, la industria se ve empujada a desarrollar medios más rentables, competitivos y sostenibles.

Dentro del sector olivícola, se sabe que, a la hora de clasificar la aceituna, principalmente la de mesa, es necesario determinar la clasificación del fruto según su tamaño, una vez ha sido cosechado, para optimizar su procesamiento posterior. La homogeneidad de tamaño, junto con otros atributos sensoriales, tiene un impacto positivo en la opinión general del consumidor respecto a la calidad del producto final. Este hecho no es exclusivo de las aceitunas de mesa, sino de otros productos de alta calidad. Tanto es así que su automatización ha sido históricamente un desafío, al tratarse de una actividad realizada tradicionalmente a mano, con todos los inconvenientes que esto conlleva.

Las primeras aproximaciones al problema se han basado en soluciones puramente mecánicas, como la integración de tolvas de diferentes tamaños en las cintas transportadoras utilizadas durante la poscosecha, a través de las cuales los frutos pueden deslizarse de acuerdo con sus dimensiones. Sin embargo, el uso de este tipo de sistemas conlleva un mayor riesgo de daño del fruto al implicar un mayor grado de manipulación física de los productos. Además, presentan limitaciones obvias en cuanto a las características en base a las cuales se puede realizar la clasificación, y a la información que se puede extraer y registrar a partir del procesamiento.

Estas soluciones mecánicas clásicas han sido revisadas en los últimos años, y como alternativa, ha surgido la utilización de medios de visión artificial.

Se conoce el estudio de M. Baigvand, A. Banakar, S. Minaei, J. Khodaei, and N. Behroozi-Khazaei, "Machine visión system for grading of dried figs," Comput. Electron. Agrie., vol. 119, pp. 158-165, Nov. 2015 donde se utilizan medios de visión artificial para la clasificación de higos secos.

También se conoce el studio de F. S. A. Sa’ad, M. F. Ibrahim, A. Y. M. Shakaff, A. Zakaria, and M. Z. Abdullah, "Shape and weight grading of mangoes using visible imaging," Comput. Electron. Agrie., vol. 115, pp. 51-56, Jul. 2015. donde se propone una metodología que fusiona el procesamiento de imágenes y el aprendizaje automático supervisado para clasificar mangos.

Para este último tipo de cultivos, es decir, mangos, también se conoce lo divulgado en el estudio de Z. Wang, K. Walsh, B. Verma, Z. Wang, K. B. Walsh, and B. Verma, "On-Tree Mango Fruit Size Estimation Using RGB-D Images," Sensors, vol. 17, no. 12, p. 2738, Nov.

2017. donde se sugiere el uso de sensórica RGB-D para la estimación del tamaño del fruto en el propio árbol.

También se conocen estudios destinados a la clasificación de otros tipos de frutas como manzanas y uvas, o incluso otros productos como las flores de parras/vides.

Dentro del ámbito puramente del olivo, se conoce lo divulgado en el estudio de G. Gatica, S. Best, J. Ceroni, and G. Lefranc, "Olive Fruits Recognition Using Neural Networks," Procedía Comput. Sci., vol. 17, pp. 412 - 419, Jan. 2013. donde se propone el análisis de imágenes RGB y el uso de redes neuronales para el reconocimiento del fruto directamente en el árbol, destinado a estimar el mejor momento de cosecha.

En este sentido, el documento de S. Satorres Martínez, D. Martínez Gila, A. Beyaz, J. Gómez Ortega, and J. Gámez García, “A computer vision approach based on endocarp features for the identification of olive cultivars,” Comput. Electron. Agric, vol. 154, pp. 341-346, Nov.2018. aborda el mismo problema anterior mediante la extracción de características a partir de imágenes de los endocarpios de los frutos, y uso de clasificadores basados en un análisis discriminante de mínimos cuadrados parciales. Del mismo modo, en el documento de Beyaz, M. T. Ozkaya, and D. ¡gen, "Identification of some spanish olive cultivars using image processing techniques,” Sci. Hortic. (Amsterdam), vol. 225, pp. 286-292, Nov. 2017 se propone partir de capturas de aceitunas y endocarpios para identificar dichos cultivos.

Además, se han desarrollado diversas investigaciones para tratar la discriminación de frutas defectuosas. En el documento de R. Diaz, L. Gil, C. Serrano, M. Blasco, E. Moltó, and J. Blasco, "Comparison of three algorithms in the classification of table olives by means of computer vision, ” J. Food Eng, vol. 61, no. 1, pp. 101-107, Jan.2004. se comparan diferentes algoritmos para clasificar el estado y condición de la superficie del fruto y ver por tanto si está defectuoso.

En el documento de D. Puerto et al., "Sorting Olive Batches for the Milling Process Using Image Processing,” Sensors, vol. 15, no. 7, pp. 15738-15754, Jul. 2015. se presenta una metodología experimental para diferenciar las aceitunas recolectadas del suelo de aquellas cosechadas directamente de los árboles, dado que las recolectadas del suelo pueden provocar un empobrecimiento de la calidad del aceite de oliva al ser utilizadas para su producción.

Finalmente, en el documento J. M. Ponce, A. Aquino, B. Millán, J. M. Andújar, "Olive-Fruit Mass and Size Estimation Using Image Analysis and Feature Modeling,” Sensors, vol. 18, no.

9, p. 2930, Sep. 2018 se propone una metodología con un sistema de adquisición de imágenes que no aisla de contaminación lumínica la escena, introduciendo sombras proyectadas por los frutos en las capturas, y dónde es necesario que estos nunca apareciesen en contacto unos con otro para una correcta estimación, lo que implica un escenario que no es realista que se limita a intentar resolver el problema de la segmentación respecto del fondo, y que implica un método limitado y que no puede ser utilizado en una práctica habitual o corriente.

Habida cuenta de los antecedentes existentes en este campo de la técnica, no se conocen procesos o métodos sobre la evaluación y clasificación automática del tamaño y masa de aceitunas utilizando un procedimiento de análisis de imágenes en el momento del procesado de las mismas, es decir, en cualquier escenario como el que pueda ser que los frutos de la aceituna están agolpados de una forma natural, y donde la aproximación del fruto se modela como un cuerpo esferoide y no como una proyección bidimensional.

En la presente invención se propone una nueva metodología basada en visión artificial y el modelado de características a partir de información descriptiva extraída mediante análisis de imagen, que permite solucionar un problema real de la industria olivarera respecto a la clasificación automática del fruto cuando está siendo procesado. Para ello, se parte de máquina de captura de imágenes, que puede integrarse en una cinta transportadora de procesado industrial, que tiene la capacidad de tomar fotografías de lotes de aceitunas en condiciones controladas y permitir el conteo y estimación individual del tamaño de las aceitunas.

La ventaja técnica de la presente invención es la de obtener un procedimiento no destructivo que permite determina y estimar la forma automática el tamaño y masa de aceitunas de forma individual dentro de un grupo mediante visión artificial, lo que permite mejorar el control de las aceitunas durante su procesado industrial.

Breve descripción de la invención

La invención consiste en un proceso esencial dentro de la industria olivícola, donde la clasificación basada en el tamaño y masa es especialmente importante cuando se procesan aceitunas de mesa de alta calidad, y en este contexto, esta metodología para la clasificación automática y precisa de los frutos del olivo se realiza mediante el uso de técnicas de visión artificial y el modelado de características.

Para su desarrollo, el procedimiento se basa en el estudio de diversas variedades de aceituna Olea europaea, como por ejemplo, los tipos Arbequina, Arbosana, Picual, Ocal, Changlot Real, Verdial de Huévar y Lechín de Sevilla. Estas aceitunas, u otras de otras clases, son fotografiadas, distribuyendo estocásticamente a los individuos dentro de la escena. A continuación, se generan unos pasos para el análisis de imagen, basado en morfología matemática, para segmentar individualmente las aceitunas, y extraer características descriptivas con las que estimar la longitud de sus ejes mayor y menor, y su masa.

El procedimiento consiste básicamente en:

- Obtener una imagen RGB de un conjunto de aceitunas, estocásticamente o heterogéneamente distribuidas sobre el área de captura, utilizando un bastidor de adquisición.

- Procesar la imagen RGB para binarizarla, y posteriormente segmentar las regiones de píxeles correspondientes a cada una de las aceitunas que aparecen en dicha imagen. - Obtener el número de aceitunas mediante el conteo del número de regiones de píxeles segmentadas, correspondientes a cada uno de los frutos.

- Extraer a partir de la región de píxeles correspondiente a cada fruto características descriptivas de su tamaño y masa.

- Adicionalmente, se puede utilizar esta información descriptiva de la masa y tamaño de cada fruto para, a partir de modelos de estimación, obtener una aproximación, en gramos y milímetros respectivamente, del valor de dichas magnitudes.

Para adquirir las imágenes y los datos de referencia, se precisa de un sistema de adquisición de imágenes que comprende:

- una campana de adquisición: de material opaco, para aislar la escena de cualquier fuente de luz externa. En su base se sitúa el área de captura. En la parte superior se ubica una cámara con la que las fotografías son realizadas, orientada enfocando perpendicularmente dicha área de captura.

- un área de captura: constituida por una lámina de plástico blanco semitranslúcido, con unas dimensiones en planta similares la base del bastidor, colocada a una altura con respecto a la base de la campana semejante a la altura de la campana.

- medios de iluminación: donde hay unas tiras LED distribuidas de forma equidistante, compuestas por una pluralidad de luces de 5 V cada una, situadas en la base del bastidor, e iluminando el área de captura desde abajo.

- una cámara fotográfica: cámara digital sin espejo, con sensor CCD y lente Zeiss con estabilización óptica, que es configurable, con una apertura de f/7.1, velocidad de obturación de 1/50s, sensibilidad ISO en 250 y distancia focal de 31 mm, donde la cámara se configura para guardar imágenes en formato de archivo JPEG, con una resolución de 6000 x 3376 píxeles, 24 bits de profundidad de color y una densidad de píxeles de 350 ppp, que se ubica en la parte superior de la campana; y

- un módulo electrónico programable de gestión y tratamiento de datos, que recibe las imágenes de la cámara y donde se desarrollan las diferentes etapas del método.

Las características del sistema de adquisición diseñado permiten la captura de imágenes de alto contraste en términos de valor de color entre las aceitunas que aparecen en las mismas y el fondo, además de la ausencia total de cualquier tipo de sombra proyectada por los propios frutos, o bien por cualquier elemento extraño, ajeno a la escena a fotografiar. Este hecho hace posible aligerar el coste computacional del tratamiento y transformación de las imágenes adquiridas, con relación a su binarización.

Se ha de tener en cuenta que, a lo largo de la descripción y las reivindicaciones, el término “comprende” y sus variantes no pretenden excluir otras características técnicas o elementos adicionales. Además, con el objeto de completar la descripción y de ayudar a una mejor comprensión de las características del invento, se presenta unas figuras, en donde con carácter ilustrativo y no limitativo se representa lo siguiente:

Figura 1: es un diagrama representativo de las diferentes etapas del procedimiento requerido para la estimación automática del tamaño y masa de aceitunas

Figura 2: es una presentación del sistema de adquisición y procesamiento de imágenes de la presente invención.

Figura 3: es una presentación de una imagen inicial recogida en la campana de adquisición.

Figura 4: es una representación de imágenes tras el tratamiento inicial a un grupo de aceitunas, en la etapa de procesado morfológico.

Figura 5: es una representación de imágenes donde se observa la transformada máxima extendida al ser aplicada sobre la transformada de distancia de la imagen binaria inicial, etapa de segmentación individual de los frutos.

Figura 6: es una representación de la generación de la imagen de marcadores internos, etapa de segmentación individual de los frutos.

Figura 7: es una representación del conjunto de marcadores externos, en la etapa de segmentación individual de los frutos de las aceitunas.

Figura 8: es una representación de la segmentación de la imagen de los frutos.

Figura 9: es una representación del resultado del post-procesado de la imagen binarizada y segmentada a nivel de fruto.

Figura 10: es una ilustración de la representación de la caracterización del tamaño de las aceitunas.

Figura 11: es una ilustración de la representación de la caracterización de masa de las aceitunas.

Descripción detallada de la invención

El procedimiento para la estimación automática del tamaño y masa de aceitunas objeto de la presente invención parte de un grupo de aceitunas, seleccionadas de entre los tipos Arbequina, Arbosana, Picual, Ocal, Changlot Real, Verdial de Huévar y Lechín de Sevilla; y el procedimiento comprende las siguientes etapas:

Etapa a). Capturar una imagen RGB de un conjunto de aceitunas.

Se captura una imagen RGB de un conjunto de aceitunas, donde estas aceitunas están heterogénea o estocásticamente distribuidas sobre un área de captura (2), siendo la imagen tomada por una cámara (3) en una campana de adquisición (1), donde esta imagen inicial es transferida a un módulo electrónico (5) programable donde se realizan las diferentes etapas de procesamiento.

La imagen RGB se realiza en condiciones de iluminación controlada, dado que la campana de adquisición es opaca e impide la entrada de luz del exterior, y la luz interna es emitida de forma controlada por unos medios de iluminación (4).

En la Figura 1 se puede observar los diferentes elementos que están comprendidos en el sistema. Más adelante se define de forma detallada todos y cada uno de estos elementos. Un ejemplo de imagen (3A) tomada se puede observar en la Figura 3.

Etapa b). Transformar la imagen RGB al espacio de color HSV

Se transforma la imagen RGB al espacio de color HSV, donde la información de luminosidad o valor de color puede ser analizado a través de un canal especifico de valor V, donde V es un valor dentro de una escala preferentemente de grises.

En esta transformación, la información contenida en dicho canal es tratada como una imagen en escala de grises, Iv .

Etapa c). Inversión de valores y generación de imagen complementaria

Los valores de nivel de gris de esta imagen son invertidos para representar los píxeles correspondientes al fondo con valores más bajos que los de las aceitunas, generándose una imagen complementaria, fy . Para ello se utiliza la relación:

fy = 255 - Iv

donde 255 es el mayor valor de nivel de gris posible para imágenes con 8 bits de profundidad de color por canal.

Es decir, se invierten los valores y se genera una imagen complementaria, donde la imagen generada en escala de grises correspondiente al canal de valor V. Los valores de nivel de gris de esta imagen son invertidos para representar pixeles correspondientes al fondo con valores (tonalidades) más bajos que los de las aceitunas.

Etapa d). Binarización de la imagen invertida

A continuación, la imagen invertida fy se binariza a partir de un umbral calculado por el método de Otsu, donde se procesa la imagen y se aislan los píxeles correspondientes a las aceitunas de los que pertenecen al fondo.

Esta técnica de umbralización global asume que la imagen contiene dos clases distintas de píxeles: aquellos que integran el fondo y aquellos que forman parte del primer plano de la imagen. Igualmente, parte de la premisa de que existe una diferenciación significativa en términos de valor de nivel de gris entre ambas clases. Por lo tanto, el método calcula automáticamente el umbral óptimo (Thotsu) para la separación de éstas, siendo éste aquel que permita maximizar la varianza entre clases o, de manera análoga, minimizar la varianza intraclase, de forma que la suma de las dispersiones de los valores de nivel de gris de ambas clases sea la mínima.

Con esto, el umbral Thotsu se calcula para la imagen fy , que luego se binariza como sigue:

255

_1Bin (x ,y ) = j si Iv (x ,y )> T h otsu

0 en cualquier otro caso

Etapa e). Procesado morfológico de la imagen binaria inicial

Se realiza un procesado morfológico de la imagen binaria previa, obteniéndose una nueva imagen ( /B in2 ) donde

a. se elimina ruido, es decir, se eliminan grupos anómalos de pixeles blancos que, debido a sus dimensiones, no pueden corresponder con un fruto; y

b. se eliminan pedicelos de los frutos, es decir, se elimina esa parte de los frutos que pueden estar presentes en la imagen.

Este procesado se basa en:

/^Bin2 = Y^p ( /^{B in} ) ,

donde ^y es la apertura morfológica que utiliza el elemento estructurante p, en forma de disco de 30 píxeles de radio.

Un ejemplo visual de este procesamiento se puede observar en la Figura 4, donde (4A) representa la imagen original; (4B) la imagen binaria; (4C) la imagen binaria después de la eliminación de componentes anómalos y de los pedicelos; (4D) la imagen de la transformada de la distancia de la imagen (4C); y (4E) la imagen complementaria de la imagen (4D).

Como puede comprobarse, /Bin2 es una segmentación precisa de las aceitunas respecto al fondo. Sin embargo, las aceitunas en contacto aparecen fusionadas construyendo componentes conexas (conjuntos de píxeles de mismo valor de nivel de gris con relación de vecindad) agrandadas. El objetivo del paso siguiente (la segmentación individual) es separar las aceitunas fusionadas en /Bin2 , para que cada componente conexa se corresponda a único fruto.

Con esto, el este procesamiento finaliza calculando la transformada de distancia, DT, para /Bin2 , que determina, para cada píxel, la distancia euclídea al píxel perteneciente al fondo más cercano:

/^DT = + T ( /^{B in2} )

donde, DT se obtiene como sigue:

[+T(/B in2) ] ( * . y ) = m in { 0 ( x - x ' ) 2 (y - y ' ) 2 \ /Bin2 (x ' , y ') = 0 }

Esta información es clave para la separación individual de los frutos en /Bin2 . De hecho, /DT es una imagen simplificada y significativa en la que el centro de masa de todas las aceitunas, independientemente de que estén o no en contacto con otras, constituye un máximo regional por ser el punto local más alejado del fondo [ver Fig.4 imagen (4D)].

Se hace notar que un máximo regional, M, de una imagen, se puede definir de forma genérica como un conjunto de píxeles adyacentes con un mismo valor de nivel de gris dado, v, tal que cada píxel en la vecindad de M tiene un valor estrictamente más bajo que v.

Etapa f) Segmentación de la imagen a nivel fruto

Se segmenta primera e individualmente los frutos de las aceitunas de la imagen IBin2 mediante la utilización de la transformación de Watershed.

Esta segmentación se basa en dos aspectos fundamentales:

a. Cálculo de los máximos regionales, ubicados en los centros de las aceitunas. b. Aplicación de la transformada de detección de líneas divisorias por inundación (transformada Watershed) controlada por marcadores, donde:

i. Marcador interno: a partir de la umbralización de la imagen correspondiente a la transformada de la distancia de la imagen binaria.

ii. Marcador externo: a partir de la aplicación de la transformada Watershed sobre los marcadores internos.

El objetivo perseguido en esta etapa es el de segmentar individualmente las aceitunas en la imagen IBin2, mediante la aplicación una transformación Watershed. Dicha transformación aproxima la imagen a tratar como una superficie topográfica, donde los niveles de gris representan altitudes, siendo las regiones más oscuras consideradas como cuencas de captación. Luego, la superficie es inundada, y las cuencas son separadas por las líneas de convergencia de agua, cuyas trayectorias están influenciada por la profundidad, el tamaño y la forma de las dichas cuencas. Formalmente, la definición e implementación de la transformación Watershed no es obvia, y ha producido una gran cantidad de literatura específica al respecto a lo largo de los años.

De acuerdo con la explicación dada, si la imagen complementaria de IDT, 777 = 255 - IDT [ver Fig.4 imagen (4D)], se ve como una superficie topográfica, las aceitunas se corresponden con cuencas de captación. Además, estas cuencas se dividen idealmente mediante líneas de drenaje trazadas de acuerdo con la influencia producida por las características de cada de una de éstas con respecto a su entorno.

Sin embargo, la aplicación directa de esta transformación sobre 777 produce sobresegmentación al tratarse de una operación muy sensible a las irregularidades locales. Para superar esta dificultad, se propone una segmentación Watershed controlada por marcadores.

Se entiende que un marcador es una componente conexa que pertenece a la imagen a segmentar. Así, nos encontramos con marcadores internos, que son aquellos que están dentro de las propias aceitunas, y marcadores externos, pertenecientes al fondo. Éstos son utilizados para limitar la acción de la Watershed a las regiones correspondientes a la de las propias aceitunas, y, en consecuencia, modificar el gradiente de la imagen.

Como primer paso para obtener el conjunto de marcadores internos, los máximos regionales, ubicados en los centros de las aceitunas en la imagen IDT, se extraen aplicando una transformada h-máxima. Esta transformación primero elimina los máximos regionales irrelevantes de la imagen, que serán aquellos con una altura inferior o igual a h. Matemáticamente:

IHMax = : id t(IDT — h)

donde, genéricamente, R?Mask(IMarker) es la reconstrucción morfológica por dilatación de ¡Mask a partir de ¡Marker, utilizando un elemento estructurante unitario.

Respecto al parámetro h, un valor de 5 es suficiente para retener sólo los máximos significativos.

A continuación, los máximos regionales no descartados son extraídos de ¡HMax se mediante el siguiente cálculo:

y umbralizando la imagen resultante:

El resultado de estas operaciones puede ser consultado visualmente en la Figura 5, donde se observa la transformada máxima extendida (5C), al ser aplicada sobre la transformada de distancia (5B) de la imagen binaria inicial (5A).

Alcanzado este punto, el número exacto, N, de frutos presentes en la imagen se obtiene contando el número de componentes conexas en ¡RMaxBin.

A continuación, esta información se explota para finalmente decidir el conjunto de marcadores internos. Esto, mediante la construcción de una imagen binaria simplificada en la que todas las aceitunas están desconectadas, pero manteniendo su relación/influencia espacial. Para ello, es necesario encontrar el valor umbral mínimo, ThMin, que produce una binarización de la imagen correspondiente a la transformada de la distancia, IDT, que contiene exactamente N componentes conexas, correspondientes a las aceitunas desagregadas.

Se entiende que la imagen original contiene aceitunas en contacto unas con otras, por tanto, cuanto menor sea el valor de umbral, menor será el número de componentes conexas en la imagen binaria obtenida, ya que éstas tienden a fusionarse formando agregaciones. Contrariamente, a medida que aumenta el valor umbral, las aceitunas tienden a desconectarse y el número de componentes conexas converge a N.

Sin embargo, hay dos situaciones a considerar en la búsqueda del valor adecuado para ThMin.

1) las aceitunas más pequeñas pueden desaparecer al binarizar la imagen IDT a partir de un determinado valor umbral, dependiendo del tamaño de las más grandes y las dimensiones de las agregaciones; y

2) pueden aparecer componentes conexas anómalas, y de pequeño tamaño, al binarizar IDT, como consecuencia de la naturaleza discreta y cuantificada de la imagen. Por lo tanto, la solución a esta doble problemática descrita, que proporciona finalmente el conjunto de marcadores internos, se puede formular de la siguiente manera:

I¡ntMk : iCand(IRMaxBin)

donde I¡ntMk contiene N componentes conexas correspondientes a las aceitunas individuales, siendo

De hecho, esta reconstrucción morfológica planificada previamente descarta aquellas componentes conexas anómalas que potencialmente pueden estar presentes en ICand. Además, con esta última operación se recupera en ICand las componentes más pequeñas, que pudiesen haber desaparecido al calcular IThMin. Con esto, IThMin es la binarización de la imagen de la transformada de la distancia I^dt,

cuando ThMin toma el valor umbral mínimo para el cual I¡ntMk contiene N componentes conexas (dado por la función genérica CC),

Th^{M in} = min[t\CC(I^{C a n d} ) = N ,t = 0,...,254]

Teniendo en cuenta estos aspectos, la Figura 6 muestra la generación de la imagen de marcadores internos, donde (6A) es la imagen de la transformada de la distancia; (6B) muestra el primer plano de la región de la imagen (6A) contenida en el recuadro ; (6C) muestra la binarización de (6B) con un valor umbral ThMin de 65; (6D) muestra la eliminación de las componentes conexas anómalas; (6E) muestra la imagen IIntMk, donde cada componente conexa representa un marcador interno para la aplicación de la transformada Watershed. Seguidamente, la transformada de la distancia ([DT(IBin2)](x ,y )) es aplicada sobre la imagen contenedora de los marcadores internos, IIntMk. Luego, el conjunto de marcadores externos

^{es obtenido a partir de la imagen resultante,} IDT ¡ntMk ^{, aplicando una transformación}

Watershed sobre su imagen complementaria, / dt¡ü¡M/ , donde:

y donde WS hace referencia a transformada Watershed. Los pasos para obtener esta imagen, ¡ExtMk, se representan visualmente en la Figura 7. Se hace notar que los marcadores externos se corresponden las líneas oscuras que aparecen en la imagen 7C de dicha figura.

En todo caso, la Figura 7 muestra el conjunto de marcadores externos ¡ExtMk, donde la imagen

(7A) muestra la /DT/n/M/ , que resulta de invertir la imagen resultante de la aplicación de la transformada de la distancia sobre la imagen que contiene los marcadores internos, ¡^¡ntMark; (7B) muestra la imagen W S(kDT¡¡¡¡Mk), obtenida de la aplicación de la transformada Watershed sobre /DT¡¡l¡M/ (imagen 7A); y (7C), tal como se adelantó previamente, muestra la imagen

contenedora de los marcadores externos (líneas oscuras), ¡ExtMark, resultante de la binarización de la imagen (7B).

Alcanzado este punto, ha de tenerse en cuenta que el conjunto de líneas que integran los marcadores externos ofrece una solución parcial al problema de separación, pero a menudo provoca una sobresegmentación. Por lo tanto, los marcadores externos se utilizan para forzar la aparición de mínimos regionales (operación conocida como imposición de mínimos) en la imagen complementaria a la de la transformada de la distancia ¡^{dt, nD T} :

ark )

donde, genéricamente, RfMask( IMarker) es la reconstrucción morfológica por erosión de ¡Mask

a partir del marcador ¡Marker, utilizando un elemento estructurante unitario. Después de esta

imposición de mínimos, la transformada Watershed es aplica a ¡Min¡mp, proporcionando así el conjunto definitivo de líneas divisorias, utilizadas para separar finalmente las agregaciones de componentes conexas en ¡Bin2:

1Final = . in { IBin2>1 Lines},

donde

El resultado definitivo para la segmentación individual de los frutos es mostrado en Figura 8. Dicha Figura 7 es una ilustración de la separación final de las aceitunas, donde (8A) es imagen binaria ¡Bin2 con agregaciones de frutos a separar; (8B) es una imagen donde se muestran las líneas de divisorias obtenidas por segmentación Watershed controlada por marcadores; y (8C) muestra la imagen binaria después de la separación de las componentes correspondientes a los frutos, calculada como el mínimo de (8A) y (8B) para cada píxel.

Etapa g). Post-procesado de la segmentación individual

Se realiza un post-procesado final donde se elimina el ruido por sobresegmentación y de las aceitunas que no están completamente contenidas en la imagen, es decir hay un procesado de la segmentación a nivel de fruto de la imagen binaria.

En este sentido, una vez finalizada la separación de objetos, es posible que se hayan generado diminutas componentes conexas artificiales, como consecuencia de la aplicación de la transformada Watershed.

Estos casos excepcionales de sobresegmentación se eliminan mediante la aplicación de una apertura morfológica, seguida de una reconstrucción de la imagen resultante para restablecer el tamaño y forma exactos de las componentes conexas supervivientes.

Esto se genera a partir de:

donde p representa al elemento estructurante con forma de disco utilizado en la operación de apertura. La longitud de su radio se calcula de forma adaptativa, por variedad, de la siguiente manera:

p = r k - 5 x ok - 1,

donde r y ok son, respectivamente, la media y la desviación estándar de la muestra, que define la distribución estadística de las observaciones para la longitud del radio menor de las componentes conexas presentes en IFinal.

Las distribuciones se estudian para cada variedad v analizando todas las imágenes correspondientes con los pasos descritos en la etapa g) del presente invento, y utilizando el proceso de la posterior etapa i) que se detallará más adelante.

En este sentido, se entiende que la distribución de los tamaños de aceituna por variedad es gaussiana, y sólo son descartados aquellos ejemplares extremadamente no representativos, fuera del promedio menos cinco veces la desviación estándar, por ser demasiado pequeños para ser significativos.

Finalmente, el post-procesamiento termina con la eliminación de las aceitunas que no están completamente contenidas en la imagen. Para hacerlo, las componentes conexas que alcanzan el borde en ¡olives son descartadas, a partir de las siguientes transformaciones:

¡OlivesDef = ¡Olives — : i0iíves( ¡BorderSeeds') ,

donde ¡BorderSeeds contiene semillas para cada aceituna conectada al borde de la imagen:

¡BorderSeeds . in{Ioiives , ¡Borderó,

e ¡Border es una imagen de borde, según se define a continuación:

(255 si (x, y) es un píxel conectado al borde

¡Border(x, y l 0 en cualquier otro caso

Este subproceso es representado en la Figura 9, tratando una sub-imagen en lugar de una captura completa. En este sentido, la Figura 9 es una ilustración de la eliminación de las aceitunas que no están completamente contenidas en la imagen, donde (9A) es una imagen binaria después de la segmentación individual de las aceitunas; (9B) es una imagen de las semillas correspondientes a cada una de las aceitunas conectadas al borde; (9B) muestra componentes correspondientes a las aceitunas conectadas al borde; (9D) muestra el resultado después de que las componentes en (9C) se eliminen de (9A).

Etapa h). Caracterización del tamaño y peso de las aceitunas

Se realiza la extracción de las características descriptivas de la masa y el tamaño de cada fruto a partir de:

a. Tamaño: longitud, en píxeles, de los ejes mayor y menor de la elipse que tiene el mismo segundo momento central normalizado que la región de píxeles (componente conexa) correspondiente a la aceituna.

b. Masa: número de píxeles que integran la componente conexa correspondiente a la aceituna.

En la última etapa del procedimiento se obtiene la formulación de características descriptivas, medibles en las imágenes segmentadas, para aproximar la longitud de los ejes mayor y menor, y la masa de cada fruto individual.

Finalmente, estas características son explotadas para construir modelos de estimación. Primero, se propone que la longitud de los ejes mayor y menor de una aceituna se caracterice por la longitud, en píxeles, de los dos ejes de la elipse que tienen el mismo segundo momento central normalizado que su componente conexa correspondiente:

Maj Ax(CCⁱ ) = max ^E^D i (CCⁱ),E^D2(CCⁱ ) Sj,CC ⁱ Q I⁰ U^ves MinAx(CQ) = min(E^D1(CCⁱ),E^D2(CCⁱ)),CC ⁱ Q I^{o iiv e s}

E^Dl y E^D,se refieren respectivamente a los diámetros D ⁱ y D² de la elipse E, correspondiente

^{a la componente conexa CC¡ de la imagen} I ^{0 iives según lo definido anteriormente. En la} Figura 10 se ilustra la representación de las elipses, y sus ejes correspondientes, calculadas para caracterizar el tamaño de las aceitunas.

Por otra parte, para caracterizar la masa de una aceituna, se considera el área de su componente conexa correspondiente. El primer enfoque basado en esta propuesta consiste en asumir que el grado con el que cada píxel contribuye a la caracterización de la masa es siempre el mismo, independientemente de su posición dentro de la componente conexa, lo cual es obtiene a partir de:

Area(CCⁱ ) = #CCb CCⁱ Q I^{o iiv e s} ,

donde # representa la operación cardinal.

Además, son propuestos un conjunto de enfoques alternativos, basados en la ponderación de píxeles, para luego evaluarlos y compararlos. La base de todos ellos parte de la consideración de que una componente conexa es, de hecho, una proyección 2D de una aceituna, que en realidad responde a un cuerpo tridimensional elipsoidal. Por lo tanto, se tiene que sopesar la contribución de cada píxel a la masa del fruto de acuerdo con su ubicación relativa con respecto a la del centro de masa de la componente conexa a la que pertenece.

Partiendo de las definiciones anteriores, el área de una componente conexa CC¡ contenida en la imagen I0 uves, se calcula utilizando una función de ponderación genérica, W, como sigue:

Area^w (CCⁱ ) = V w ([NDT^v ( I^{o iive s} ) ] ( x ,y ) ) ,CCⁱ Q I_{0 lives} ^ V

¿—‘ (x,y)eCCi

donde NDT^v se refiere a la transformada de la distancia (I^{D T} = DT(I^{B in2}) ^{) ,} normalizada por la distancia máxima, entre píxeles pertenecientes a frutos y los correspondientes píxeles del fondo más cercanos, medida en todo el conjunto de imágenes procesadas, para la variedad v, donde:

_______________________[DTQoiiVes)Kx,y)_______________________ NDTv(I0lives) ] (x ,y )

m a x /0 (x ' - x " )2 (y' - y " ) 2 ¡ I 'oiives(x ',y ') = 255 M "oiives(x " ,y " ) = 0}

Las funciones de ponderación W propuestas, y las etiquetas con las que serán referidas a partir de ahora, se definen como:

Logaritmo natural (NLog):

w(p) = ln( 1 (e — 1) x p )

Logaritmo de base n (Logⁿ):

w(p) = logn( 1 (n — 1) x p ) ,n = 2,3,5,10

Raíz n-ésima (Rootn):

w(p) = Kfp,n = 2,3,5,7,10

Un ejemplo de la representación, como una imagen, de la aplicación de las diferentes funciones de ponderación sobre NDTv puede consultarse en la Figura 11, donde hay una representación de la ponderación de píxeles para cada uno de los modelos de caracterización de masa considerados: (11 A) NLog; (11B) Log2; (11C) Log3; (11D) Log5; (11E) Log7; (11F) Log10; (11G) Root2; (11H) Root3; (11I) Root5; (11J) Root7; (11K) Root10; (11L) píxeles igualmente ponderados.

A partir de las etapas anteriores se pueden generar modelos de estimación con los que calibrar el sistema, para ello se siguen los siguientes pasos:

- El conjunto de entrenamiento para los modelos es dividido en subgrupos de aceitunas. - Cada subconjunto es fotografiado dentro de la campana de adquisición (x).

- Una vez fotografiado, cada fruto del subconjunto es pesado (en gramos) con una balanza de precisión, y las longitudes de sus ejes mayor y menor son medidas (en milímetros) con un calibre digital.

- Las imágenes de los distintos subconjuntos son procesadas de acuerdo las etapas 1 a 9 para el análisis de imagen explicado anteriormente, obteniéndose, para cada aceituna, las características descriptivas de masa y tamaño ya definidas.

- Mediante un análisis de regresión lineal, se modela la relación entre la magnitud de las características extraídas mediante análisis de imagen, y los datos objetivos correspondientes, medidos previamente, permitiendo la calibración del sistema.

Finalmente, como se observa en la Figura 2, el sistema con el que se consigue la adquisición de imágenes y el procesado de la información para el desarrollo del procedimiento comprende:

- una campana de adquisición (1), que es un bastidor de material opaco, para aislar la escena de cualquier fuente de luz externa. En su base se sitúa un área de captura (2). En la parte superior se ubica una cámara (3) con la que las fotografías son realizadas, orientada enfocando perpendicularmente dicha área de captura (2).

- un área de captura (2): constituida por una lámina de plástico blanco semitranslúcido, con unas dimensiones en planta similares a la de la base del bastidor, colocada a una altura con respecto a la base de la campana semejante a la altura de la campana.

- medios de iluminación (4): donde preferentemente hay unas tiras LED distribuidas de forma equidistante, compuestas por una pluralidad de luces de 5 V cada una, situadas en la base del bastidor, e iluminando el área de captura desde abajo.

- una cámara (3) fotográfica: cámara digital sin espejo, con sensor CCD y lente Zeiss de con estabilización óptica, que es configurable, con una apertura de f/7.1, velocidad de obturación de 1/50s, sensibilidad ISO en 250 y distancia focal de 31 mm, donde la cámara se configura para guardar imágenes en formato de archivo JPEG, con una resolución de 6000 x 3376 píxeles, 24 bits de profundidad de color y una densidad de píxeles de 350 ppp, que se ubica en la parte superior de la campana; y

- un módulo electrónico (5) programable de gestión y tratamiento de datos, que puede estar integrado o no en la estructura de la campana, donde se reciben las imágenes de la cámara y donde se desarrollan las diferentes etapas del procedimiento con los que el usuario mediante medios informáticos, de forma automática, puede obtener una estimación el tamaño y masa de aceitunas de cada captura inicial.

En una realización preferida de la invención, la cámara de adquisición (1) tiene unas dimensiones en planta de 500 x 500 x 2 mm; el área de captura (2) unas dimensiones de 500 x 500 x 2 mm, colocada a 65 mm de altura con respecto a la base de la campana; el sistema de iluminación (4) tiene siete tiras LED distribuidas de forma equidistante, compuestas por 25 luces de 5 V; y la cámara (3) es una cámara digital sin espejo Sony a7-II.

Claims (10)

REIVINDICACIONES

1. Procedimiento para la estimación automática del tamaño y masa de aceitunas, que comprende las siguientes etapas:

a) capturar una imagen RGB de un conjunto de aceitunas, donde esta captura se realiza en una campana de adquisición (1), en la que las aceitunas están heterogénea o estocásticamente distribuidas sobre un área de captura (2) traslúcida e iluminada, siendo la imagen tomada por una cámara (3);

b) transformar la imagen RGB al espacio de color HSV, donde la información de luminosidad o valor de color es analizada a través de un canal especifico de valor V, donde V es un valor dentro de una escala de grises;

c) inversión de valores y generación de imagen complementaria, donde los valores de nivel de gris de la imagen anterior son invertidos para generarse una imagen complementaria, estando la imagen en escala de grises correspondiente al canal de valor V;

d) binarización de la imagen invertida partir de un umbral calculado por el método de Otsu, donde se aíslan los píxeles correspondientes a las aceitunas;

e) procesado morfológico de la imagen binaria donde:

- se elimina el ruido consistente en grupos anómalos de pixeles blancos que, debido a sus dimensiones, no pueden corresponder con un fruto de aceituna; - y se eliminan pedicelos de los frutos;

f) segmentación de la imagen a nivel fruto, donde:

- hay un cálculo de los máximos regionales ubicados en los centros de las aceitunas; y

- se aplica la transformada Watershed para la de detección de líneas divisorias; g) post-procesado de la segmentación individual de los frutos donde se elimina el ruido por sobresegmentación y las aceitunas que no están completamente contenidas en la imagen; y

h) obtención de la caracterización del tamaño y peso de cada aceituna, a través de características descriptivas medibles en las imágenes segmentadas donde:

- el tamaño se estima por la medición de la longitud, en píxeles, de los ejes mayor y menor de la elipse que tiene el mismo segundo momento central normalizado que la región de píxeles correspondiente a cada aceituna; y - la masa se estima por el número de píxeles que integran la región de pixeles correspondiente a cada aceituna.

2. Procedimiento, según la reivindicación 1, donde la captura de la imagen RGB en la campana de adquisición (1) se realiza en condiciones de iluminación controlada.

3. Procedimiento, según la reivindicación 1, donde en la aplicación de la transformada Watershed, es controlada por unos marcadores internos y externos, donde los marcadores internos son aquellos que están dentro de las propias aceitunas, y los marcadores externos son los pertenecientes al fondo de la imagen.

4. Procedimiento, según la reivindicación 3, donde el control los marcadores internos se dispone a partir de la umbralización de la imagen correspondiente a la transformada de la distancia de la imagen binaria; y de los marcadores externos a partir de la aplicación de la transformada Watershed sobre los marcadores internos.

5. Procedimiento, según la reivindicación 1, donde la eliminación del ruido por sobresegmentación se realiza a partir de que la estimación de que la distribución de los tamaños de aceituna es gaussiana, y se descartan por ser demasiado pequeños los ejemplares cuyo tamaño está fuera del promedio menos cinco veces la desviación estándar.

6. Procedimiento, según la reivindicación 1, donde a partir de la obtención de la caracterización del tamaño y peso de cada aceituna, se genera un modelo de calibración a partir de un análisis de regresión lineal, en el que se modela la relación entre la magnitud de las características extraídas mediante análisis de imagen y los datos objetivos correspondientes medidos con antelación.

7. Procedimiento, según cualquiera de las reivindicaciones anteriores, donde las aceitunas son seleccionadas de entre los tipos Arbequina, Arbosana, Picual, Ocal, Changlot Real, Verdial de Huévar y Lechín de Sevilla.

8. Sistema para el conteo y la estimación automática del tamaño y masa de aceitunas, que se caracteriza por que comprende:

- una campana de adquisición (1), que es un bastidor de material opaco aislado de cualquier luz externa, que en su base dispone de un área de captura, y en su parte superior se ubica una cámara (3) orientada perpendicularmente hacia el área de captura (2);

- un área de captura (2), constituida por una lámina de plástico blanco semitranslúcido, con unas dimensiones en planta similares la base del bastidor de la campana;

- unos medios de iluminación (4), situados en la base del bastidor de la campana, e iluminando el área de captura (2) desde abajo.

- una cámara (3) fotográfica, que es una cámara digital configurable para guardar y transmitir las imágenes de las aceitunas captadas, que se ubica en la parte superior de la campana; y

- un módulo electrónico (5) programable de gestión y tratamiento de datos, donde se reciben las imágenes de la cámara (3) y donde se realizan los cálculos para obtener la estimación del tamaño y masa de las aceitunas capturadas en la imagen tomada por la cámara.

9. Sistema, según la reivindicación 8, donde los medios de iluminación (4) son unas tiras LED distribuidas de forma equidistante compuestas por una pluralidad de luces de 5 V cada una.

10. Sistema, según la reivindicación 8, donde la cámara (3) es una cámara digital sin espejo, con sensor CCD y lente con estabilización óptica.