ES2552397B1 - Sistema y método para la estimación de atunes capturados por especie a bordo de embarcaciones pesqueras - Google Patents

Abstract

Sistema y método para la estimación de atunes capturados por especie a bordo de embarcaciones pesqueras. El sistema comprende:#- medios de captura de imágenes (10) para capturar imágenes a color de atunes en su tránsito por una zona de paso (40);#- medios de iluminación (20) para iluminar la zona de paso (40) con luz difusa;#- un módulo de control (30) para:#- extraer la silueta de los individuos en las imágenes;#- generar las partes ocultas de individuos parcialmente ocultos;#- obtener parámetros geométricos de cada individuo mediante correspondencia de patrones geométricos;#- obtener parámetros de coloración de cada individuo, extrayendo el porcentaje de color por banda;#- estimar la especie de atún a la que pertenece cada individuo, empleando los parámetros geométricos y de coloración de cada atún como entrada de una red neuronal artificial que relaciona las características morfológicas, de silueta y de color con especies de atunes;#- estimar los atunes capturados por especie.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Sistema y metodo para la estimation de atunes capturados por especie a bordo de embarcaciones pesqueras.

Campo de la invention

La presente invention se engloba dentro del campo de la pesca del atun en buques atuneros, y mas concretamente en los sistemas de manipulation y almacenaje del atun pescado en dichos buques.

Antecedentes de la invention

La pesca del atun tropical y sobre todo la que se denomina industrial se basa en el uso de buques cerqueros. Estos buques estan disenados para capturar atun y congelarlo in situ.

Los buques atuneros son buques cerqueros que congelan directamente el atun en sus bodegas. Estas bodegas, denominadas "cubas”, llevan el pescado congelado sirviendo a la vez de sistema de enfriamiento asl como lugar de almacen y transporte. La capacidad operativa de los atuneros se mide en varios parametros entre los que se encuentran la capacidad de sus bodegas y la velocidad en la que se realizan las maniobras de captura.

Cuando el pescado es cercado y esta dentro del copo de la red se procede a la extraction del mismo de la red. El pescado se saca del agua mediante una especie de pala/embudo denominado "salabardo”. Este gran embudo de mas de dos metros de diametro es manejado mediante las gruas del barco. Con el sistema hidraulico de los buques se mueven dichas gruas. Ejemplares de peces de diferentes tamanos (tallas) y especies aparecen generalmente mezclados en estos salabardos.

El salabardo se sube y se deposita en una tolva que va dirigida desde la cubierta principal al parque de pesca. En el parque de pesca hay cintas que transportan el pescado a las cubas de congelacion y almacenaje.

Las cubas, que pueden tener capacidades de hasta 120 toneladas de atun, contienen normalmente una mezcla de agua con sal, denominada salmuera, que esta unos -1° C. El atun entra en cubas y se mantiene durante unos tres o cuatro dlas hasta que este completamente congelado. Luego, en algunas embarcaciones se suele extraer la salmuera de la cuba dejando el pescado en seco y bajando la temperatura para poder transportar el pescado a temperaturas de entre -18 y -22° C. El frlo en las cubas se transmite a traves de unos serpentines metalicos que contienen fluido refrigerante.

A dla de hoy la cantidad de atunes que son capturados, asl como las especies o tallas de los mismos, solamente son conocidas tras la descarga en los puertos. En tiempo de captura solo la experiencia del patron de pesca o determinadas estimaciones de los observadores cientlficos embarcados a bordo, pueden aportar alguna estimation de capturas (especies, numero y tamanos) por lance y por marea. Tener una bodega llena no siempre te asegura un buen jornal si la especie o talla de los ejemplares no es el demandado por el mercado.

Asl mismo se carece a bordo de los buques de una herramienta automatica y eficaz que determine la presencia de otras especies no objetivo dentro de la pesquerla.

5

10

15

20

25

30

35

40

45

50

Son diversos los organismos internacionales que velan por el cumplimiento de la legislation en la materia, y las companlas pesqueras son las primeras interesadas en intentar cumplir con lo establecido y minimizar este tipo de capturas, debido no solamente a su responsabilidad en la conservation marina sino tambien a las cuantiosas sanciones administrativas que les puede suponer a las empresas armadoras capturar accidentalmente determinadas especies de aves, tortugas, tiburones o delfines.

La presente invention permite, mediante tecnicas de vision artificial, estimar las capturas realizadas, detectando numero de ejemplares por especies y por tallas, y en base a esa informacion optimizar los actuales procesos de produccion, aportar un valor anadido a la pesquerla y aumentar el beneficio de las empresas (y consecuentemente de toda la cadena de valor).

Aunque las aplicaciones de la vision artificial no son nuevas en su aplicacion para el procesado de pescado, no se conocen desarrollos especlficos capaces de analizar las especies de tunidos recien pescados y estimar su numero y peso por especie, informando de todo aquello que no sea atunes, en tiempo real y a bordo de embarcaciones.

Asl, por ejemplo, los documentos de patente US2008137104-A1, EP2559336-A1, CH701341-A2, WO2012008843-A1 y US4934537-A divulgan el uso de tecnicas de vision artificial para realizar una identification de peces de manera automatica. En ellos se emplean camaras y medios de iluminacion para obtener imagenes, las cuales son analizadas y se obtienen distintos parametros del pez, tales como biomasa, dimensiones del pez (longitud, grosor), peso y defectos o enfermedades. En la mayorla de los casos los peces son conducidos por cintas transportadoras, o bien se mueven libremente en el agua, cuando se realiza la identificacion y clasificacion. Sin embargo, en todos ellos dicha identificacion de parametros del pez se lleva a cabo para peces individuales, de forma que se ha producido un proceso de separation por el cual se ha separado el individuo del resto de peces, para poder realizar la identificacion, lo cual no serla aplicable a un atunero, donde todos los peces son conducidos a las cubas en masa, todos juntos, sin posibilidad de separarlos. Ademas, en ninguno de ellos se lleva a cabo una identificacion de la especie de atun, unicamente de parametros mas sencillos de identificar como son el peso, el volumen y las deformidades.

De hecho, la identificacion de la especie de atun es una labor extremadamente dificultosa, que se lleva a cabo de manera manual por inspection visual de operarios. En el documento de patente CN102749361-A se divulga un metodo automatico para identificar la especie de atun, basado en el troceado del pez, calentamiento del mismo y analisis del gas emitido, siendo este un metodo complejo, costoso y destructivo, ya que exige el troceado del pez. No se conocen metodos de identificacion de especies de tunidos mediante tecnicas de vision artificial, dada la enorme similitud entre las especies.

Ademas, las invenciones conocidas en los anteriores documentos de patente no permiten solucionar las necesidades existentes en un buque pesquero industrial de atunes, debido a que no permiten ni siquiera estimar vagamente la cantidad y tipologla de pescados capturados, ademas de no cumplir con los requerimientos de rendimiento por ton/h, no alcanzar unos mlnimos porcentajes de efectividad o no poder cumplir con las extremas condiciones ambientales de trabajo, con los consiguientes problemas tecnicos y de operativa. La presente invencion resuelve dichos problemas.

5

10

15

20

25

30

35

40

45

50

Description de la invention

La presente invention presenta una solution que supera las limitaciones anteriormente descritas, siendo el primer sistema de vision artificial capaz de informar en tiempo real de la cantidad de atun pescado en cada lance incluyendo numero de ejemplares por especie, kilos por cada especie y agrupacion por tamanos dentro de cada especie. De esta manera se puede llegar a realizar una clasificacion a bordo, en el origen del pescado, informar a los clientes y gestionar con antelacion su descarga y posterior traslado a las zonas o destinos donde este mas cotizado.

Un primer aspecto de la presente invention se refiere a un metodo para la estimation de atunes capturados por especie a bordo de embarcaciones pesqueras. El metodo comprende:

- capturar una secuencia de imagenes a color de los atunes capturados en su transito por una zona de paso iluminada mediante luz difusa;

- procesar cada imagen capturada para:

• extraer, mediante tecnicas de segmentation, la silueta de cada individuo presente en la imagen;

• generar mediante interpolation las partes ocultas de individuos que esten parcialmente ocultos en la imagen;

• realizar una identification geometrica de cada individuo mediante un proceso de correspondencia de patrones geometricos, obteniendo parametros geometricos de cada individuo;

• extraer el porcentaje de color por banda definida en cada individuo, obteniendo parametros de coloration de cada individuo;

• introducir un vector de entrada con los parametros geometricos y de coloration obtenidos para cada individuo en una red neuronal artificial que establece una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo con distintas especies de atunes, para estimar la especie de atun a la que pertenece el individuo;

- una vez procesadas todas las imagenes, estimar los diferentes atunes capturados por especie.

En una realization preferente el metodo ademas comprende la estimation del tamano y del peso de cada individuo detectado en la imagen a partir de los calculos de su silueta y forma.

La segmentation de la imagen incluye preferentemente procesos de sustraccion y umbralizacion.

El proceso de generation de las partes ocultas de atunes se realiza preferentemente cuando dichas partes ocultas representen un porcentaje del area del atun por debajo de un umbral de solapamiento determinado.

En una realization preferente la red neuronal artificial es de tipo perceptron multicapa y es entrenada mediante el algoritmo de aprendizaje supervisado RPROP. La red neuronal artificial puede establecer una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo no solo con distintas especies de atunes, sino tambien con otras especies diferentes, para poder obtener as! la captura accesoria.

El metodo comprende preferentemente una etapa de identificacion dinamica de individuos en la secuencia de imagenes capturada por la que se realiza un seguimiento e identification en las distintas imagenes de las siluetas de aquellos individuos que ya

5

10

15

20

25

30

35

40

45

50

hayan sido analizados, evitando asl duplicidades en el analisis de un mismo individuo.

Un segundo aspecto de la invention se refiere a un sistema para la estimation de atunes capturados por especie a bordo de embarcaciones pesqueras. El sistema comprende:

- medios de captura de imagenes configurados para capturar una secuencia de imagenes a color de los atunes capturados en su transito por una zona de paso;

- medios de iluminacion configurados para iluminar la zona de paso mediante luz

difusa;

- un modulo de control con medios de procesamiento de datos configurados para:

• procesar cada imagen capturada para:

- extraer, mediante tecnicas de segmentation, la silueta de cada individuo presente en la imagen;

- generar mediante interpolation las partes ocultas de individuos que esten parcialmente ocultos en la imagen;

- realizar una identification geometrica de cada individuo mediante un proceso de correspondencia de patrones geometricos, obteniendo parametros geometricos de cada individuo;

- extraer el porcentaje de color por banda definida en cada individuo, obteniendo parametros de coloration de cada individuo;

- introducir un vector de entrada con los parametros geometricos y de coloracion obtenidos para cada individuo en una red neuronal artificial que establece una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo con distintas especies de atunes, para estimar la especie de atun a la que pertenece el individuo;

• una vez procesadas todas las imagenes, estimar los diferentes atunes capturados por especie.

Los medios de procesamiento de datos del modulo de control pueden estar adicionalmente configurados para estimar el tamano y el peso de cada individuo detectado en la imagen a partir de los calculos de su silueta y forma.

Un aspecto adicional de la presente invencion se refiere a un metodo para identificar la especie de atun a partir de una imagen a color, que comprende:

- extraer, mediante tecnicas de segmentacion de fondo, la silueta del atun;

- realizar una identificacion por forma del atun mediante un proceso de correspondencia de patrones geometricos, obteniendo parametros geometricos del atun;

- extraer el porcentaje de color por banda definida en el atun, obteniendo parametros de coloracion del atun;

- introducir un vector de entrada con los parametros geometricos y de coloracion del atun en una red neuronal artificial que establece una relacion entre las caracterlsticas morfologicas, de silueta y de color del atun con distintas especies de atunes, obteniendo a la salida de la red neuronal la especie de atun concreta.

Este metodo es similar al metodo para la estimacion de atunes capturados por especie a bordo de embarcaciones pesqueras, con la diferencia que puede ser aplicado una unica imagen de un atun individual. Igualmente, este metodo puede comprender la estimacion del tamano y del peso de cada individuo detectado en la imagen a partir de los calculos de su silueta y forma.

Asimismo, la presente invencion aporta una information fiable y en tiempo real de las capturas accidentales producidas identificando su especie y el momento de la captura. Esta informacion, una vez el sistema sea validado por diferentes organismos

5

10

15

20

25

30

35

40

45

50

internacionales, vendrla a complementar y/o sustituir a la labor de control realizada hoy en dla por los inspectores internacionales que hay a bordo de todos los barcos pesqueros de las flotas atuneras.

La presente invention elimina la subjetividad humana mediante la utilization de tecnicas de vision artificial y la aplicacion de algoritmos de procesado y de decision autonomos. Ademas permite de una forma rapida y estandarizada su implantation al resto de la flota mundial de atuneros.

El objetivo de la presente invencion es por tanto un sistema y metodo para la detection automatica de diferentes especies de atunes en base a la captura de imagenes en el parque de pesca de una embarcacion comercial, y a la aplicacion sobre estas de algoritmos de deteccion de perfiles, siluetas y colores, asl como algoritmos de estimation de tamano, talla y peso de los dichos individuos. Los algoritmos permiten una clasificacion que obedece a la realidad de las especies capturadas.

Breve description de los dibujos

A continuation se pasa a describir de manera muy breve una serie de dibujos que ayudan a comprender mejor la invencion y que se relacionan expresamente con una realization de dicha invencion que se presenta como un ejemplo no limitativo de esta.

La Figura 1 muestra el subsistema de vision artificial.

La Figura 2 muestra el subsistema de iluminacion controlada.

La Figura 3 muestra el modulo de control, almacenamiento y gestion de datos.

Las Figura 4A, 4B y 4C muestra varias vistas del sistema completo ensamblado.

La Figura 5 muestra una imagen obtenida del proceso de sustraccion y umbralizacion.

La Figura 6 muestra una imagen del contorno del atun obtenida mediante tecnicas de segmentacion.

La Figura 7 muestra la arquitectura de la red neuronal.

Las Figuras 8A y 8B muestran la obtencion de puntos de referencia para la extraction de parametros geometricos en dos individuos de especies de atun diferentes.

Descripcion detallada de la invencion

Principalmente, el sistema integra los siguientes subsistemas: un subsistema de vision artificial con medios de captura de imagenes 10 para la captura de imagenes de atunes, medios de iluminacion 20 controlada y un modulo de control 30 con medios de procesamiento de datos encargados del control del proceso, del almacenamiento y gestion de datos.

La Figura 1 muestra de forma esquematica el sistema de vision artificial. El area de inspection es iluminada en este caso por los medios de iluminacion 20 controlada mostrados en la Figura 2. El objetivo de este elemento es aislar el campo de trabajo del sistema de vision artificial de la iluminacion ambiental y garantizar las condiciones mas adecuadas para la captura de las imagenes. La estructura de vision se disena para ajustarse a las dimensiones de las bandejas o de las cintas transportadoras de los atunes

5

10

15

20

25

30

35

40

45

50

en un parque de pesca. En una realization preferente los medios de iluminacion 20 se componen de cuatro tubos de neon de 18-22 vatios, generando iluminacion difusa con una temperatura de color de entre 5000-6500 °K, alimentados mediante reactancias electronicas de alta frecuencia. Estos puntos de iluminacion concentran la radiation electromagnetica en el espacio por donde pasan los atunes a muestrear. La iluminacion empleada es difusa, una iluminacion mas suave que no genera sombras pronunciadas, sin la intensidad ni el resplandor de la luz directa. Esta diseminada sobre el campo visual de captura, por lo que parece envolver a los atunes.

La Figura 3 muestra el modulo de control 30, encargado tambien del almacenamiento y gestion de datos. Este modulo de control 30 comprende medios de procesamiento de datos que reciben las imagenes capturadas por las camaras y realizan el procesamiento de las mismas, lo cual se detallara posteriormente.

Las Figuras 4A, 4B y 4C muestra varias vistas (frontal, lateral y planta, respectivamente) del sistema ensamblado sobre una zona de paso de atunes 40 (e.g. una bandeja, rampa o una cinta transportadora). Por simplicidad no se muestra en estas figuras el modulo de control 30, que recibirla las imagenes capturadas por los medios de captura de imagenes 10 para analizarlas. El sistema esta compuesto por una estructura de soporte 50, arco de escaneado, que integra los medios de captura de imagenes 10 y los medios de iluminacion 20. La estructura de soporte 50 se instala en una de las zonas de paso de atunes 40 en el parque de pesca, dentro de un buque de pesca, ya sea sobre la cinta de transporte o bien sobre los toboganes de descarga hacia las cubas de congelation. La instalacion, en principio, puede ser fija o movil, a fin de poder montar y desmontar los modulos necesarios para la inspection, segun sean o no necesarios.

Un conjunto de puntos de iluminacion 20 de misma o diversa geometrla con mismos o diferentes patrones de emision, espaciales y espectrales, dispuestos alrededor de la zona de inspection, iluminan el area de escaneado donde pasan los atunes, mientras que un conjunto de camaras 10, situadas frente al area de inspection, sobre el plano del area a escanear, con igual o diferente campo de vision, capturan imagenes de contraste a color por reflectancia asl como mapas de perfiles de llnea, del conjunto de atunes desde diversos puntos. La disposition de los puntos de iluminacion es tal que permite una iluminacion homogenea del area.

Las imagenes adquiridas por las camaras alimentan los medios de procesamiento de datos del modulo de control 30 que, mediante la aplicacion de algoritmos especlficos para la detection de caracterlsticas fisiologicas y morfologicas de los atunes, clasifican el conjunto analizado. Los algoritmos permiten la detection de especies de tunidos y la estimation de pesos y tamanos. En la detection, los algoritmos procesan la imagen y extraen una serie de parametros de correlation, conteo de plxeles y valores de derivadas. Estos datos se almacenan en una base de datos que incorpora el sistema.

Los medios de procesamiento de datos pueden procesar distintos atunes dentro de una misma captura de escaneado. Adicionalmente, el modulo de control 30 puede permitir gestionar los medios de procesamiento, comprendiendo, por una parte, interfaces de usuario que muestren las imagenes capturadas y los resultados de detection obtenidos, y, por otra, una base de datos que almacene los resultados obtenidos por el sistema.

El sistema automatico de inspection funciona de la siguiente forma:

- Los atunes capturados procedentes del arte de pesca de la embarcacion se deslizan por el canal de distribution hacia las cubas congeladoras en el parque de pesca

5

10

15

20

25

30

35

40

45

50

de la embarcacion. Un sensor detecta el paso de los atunes, informando al modulo de control 30 para que se inicie el proceso de captura de datos.

- Los modulos informaticos activan los registros y almacenamiento de imagenes, realizando capturas progresivas en una ventana optica (en una realizacion preferida, una ventana aproximada de 1000 X 1000 millmetros).

- La secuencia de imagenes 2D se almacena indexada, por ejemplo en unidades de memoria flsica SSD integradas en el equipo. Las imagenes almacenadas incluyen information de diversos parametros de luminosidad, tiempo de exposition y otros correspondientes a cada fotografla. El equipo cambia a estado de espera cuando el sensor detecta que ya no pasan atunes por la zona de escaneado. El conjunto de imagenes y datos obtenidos se mantiene almacenado en una carpeta autogenerada con datos de fecha, hora, nombre de embarcacion, marea, zona de pesca, numero de lance, etc.

- La aplicacion informatica de procesado de imagenes del modulo de control 30 se inicia de modo manual o automaticamente (definido por el usuario) tras la finalization de captura de imagenes. Tras el procesado completo de las imagenes mediante algoritmos y red neuronal artificial desarrollados especlficamente para esta invention, se obtienen para el lance de captura:

• Estimation del numero total de atunes capturados.

• Estimacion de unidades por grupos de tamano/peso predefinidos.

• Porcentaje de atunes por especie, por grupo y total.

A continuation se detalla el algoritmo de procesado de imagenes. Cada imagen capturada, con los datos asociados, es procesada por un conjunto de algoritmos expresamente desarrollados y ajustados para esta aplicacion. En concreto, se llevan a cabo los siguientes procesos:

a. Segmentation mediante varios procesos algorltmicos de sustraccion y umbralizacion de atunes y del fondo de cada captura. La Figura 5 muestra, a modo de ejemplo, una imagen binaria obtenida como resultado del proceso de sustraccion y umbralizacion, donde se aprecian varios peces 1.

b. Marcaje para interpolation en atunes semi-ocultos.

c. Calculo del porcentaje de color en todo el fotograma, por rango en banda definida.

Como resultado, se obtiene la siguiente informacion por fotograma:

■ Numero total de atunes.

■ Total volumen y peso.

■ Porcentajes de color por banda.

A continuacion, cada atun capturado en la imagen es procesado para la extraccion de silueta y porcentaje de color. La Figura 6 muestra, en una imagen binaria, el contorno o silueta de un atun obtenido mediante tecnicas de segmentacion.

Se aplican posteriormente los siguientes procesos por atun extraldo y segmentado:

a. Interpolacion y generation de las partes ocultas en atunes cuyas partes ocultas representen un porcentaje igual o menor a un umbral de solapamiento determinado (en una realizacion preferente, el 25% del atun, aunque este porcentaje podrla variar).

5

10

15

20

25

30

35

40

45

50

El sistema integra un algoritmo que tras detectar un contorno y segmentar un atun completo o parte del mismo, lo primero que hace es realizar un seguimiento del contorno del atun en la segmentation obtenida. Si el seguimiento perimetral del contorno es completo se computa como ejemplar completo. Si falta alguna o algunas de las partes que no permiten cerrar el perlmetro del contorno del atun, lo primero que se realiza es un calculo del numero de secciones ocultas, posteriormente un calculo del porcentaje total de silueta oculta y en un tercer paso una comparacion con una base de modelos para determinar si con el porcentaje de atun visualizado y segmentado se pueden interpolar las partes que faltan y asl obtener un ejemplar completo que pasarla directamente a los siguientes procesos de detection de especie y talla.

Si en este proceso no se puede recrear un ejemplar de atun mediante interpolation, estos “trozos” o secciones de atun se integran en uno solo para computar volumen que se ira sumando a los volumenes de los casos en los que no se pueda recrear un ejemplar. Estos volumenes sin “dueno” se computan como volumen general y se pueden asociar por programacion a la especie mas numerosa (por ejemplo, o a la de menor valor comercial) en el proceso de inspection actual.

Segun la experiencia adquirida en la inspeccion de atunes, un porcentaje oculto mayor del 25% en peces pequenos impide la regeneration, aunque en peces mas grandes el porcentaje de ocultacion puede ser mayor. Tambien intervienen otros aspectos como la zona ocultada, el numero de partes ocultas, etc.

b. Proceso de correspondencia de patrones geometricos (“Geometric Model Finder” - GMF).

c. Procesado de los datos obtenidos del patron de deformacion para la obtencion de indicadores de forma y contorno.

d. Procesado del porcentaje de pigmentacion-color por banda, obteniendo un perfil colorimetrico por ejemplar.

La presente invention realiza una identification dinamica de individuos en la escena, lo cual es necesario para identificar, para cada captura, que individuos han sido procesados y asl evitar duplicidades en el analisis. El sistema realiza una captura de imagen matricial secuencial y la identificacion y marcado de los diferente individuos que aparecen en la escena y que, al ir trasladandose automaticamente sobre las cintas transportadoras, bandejas o rampas, siguen apareciendo en capturas sucesivas. Esta identificacion se realiza en funcion de la aparicion, desplazamiento (generalmente lineal) de los individuos en la escena, y su posterior desaparicion.

Se emplea un algoritmo iterativo para la correcta identificacion. Para cada imagen capturada de la escena se aplican los siguientes pasos:

i. Captura y registro de imagen.

ii. Elimination del fondo de la imagen: Se elimina el fondo de la imagen (si es visible), a fin de dejar unicamente los individuos presentes en la escena.

iii. Comparacion con listado siluetas de individuos previamente registrados en la captura anterior: Si existe una coleccion de individuos ya identificados sobre la escena, proveniente de la imagen anterior, se aplica una correlation entre la imagen actual y el listado de siluetas de individuos identificados previamente.

5

10

15

20

25

30

35

40

45

50

iv. Elimination del listado de siluetas de aquellas siluetas correspondientes a individuos parcialmente o totalmente fuera de la escena de inspection: Se mantiene, a lo largo de todo el proceso de identification dinamica, el listado de siluetas de individuos en la escena para poder identificar aquellas zonas de la imagen correspondientes a individuos ya analizados. En cuanto un individuo ha salido, total o parcialmente de la escena, se supone que ha sido por el desplazamiento de la cinta transportadora, entendiendose que este individuo esta saliendo de la escena o ya ha salido totalmente. Esto significa que, anteriormente, el individuo ha sido analizado, y al salir de la escena, ya no es necesario mantener su information de silueta en el listado de individuos identificados.

v. Enmascaramiento de zonas correspondientes a individuos ya identificados: Se construye una mascara a partir de la plantilla de siluetas de individuos con los valores de traslacion obtenidos por la correlation ejecutada en el punto anterior.

vi. Identification de individuos completos en la imagen: Sobre la parte de la imagen no enmascarada, se buscan los individuos nuevos que puedan haber aparecido, descartando aquellos individuos cuyos cuerpos no esten contenidos en la imagen en su totalidad.

vii. Clasificacion de individuos completos: Una vez identificados los cuerpos de individuos completos, se procede a su clasificacion, mediante los modelos de silueta y color, asignandolos a la especie correspondiente (en caso de no ser asignado a ninguna clase, el individuo se marca como no identificado (captura accidental)).

viii. Actualization de listado de siluetas de individuos identificados: Con la nueva coleccion de siluetas identificadas se actualiza el listado de individuos identificados, que sera tenido en cuenta para el analisis de la siguiente imagen capturada.

ix. Captura de nueva imagen e inicio del ciclo iterativo: Se captura una nueva imagen, y se repite el ciclo de procesado.

En este algoritmo iterativo solamente aquellos individuos que aparecen completamente incluidos en la escena son analizados. Un individuo puede estar parcialmente fuera de escena. En este caso, es porque el individuo bien entra en el campo de vision o sale del mismo, por el desplazamiento de la cinta. Si se produce una entrada en el campo de vision, el individuo no se considerara “analizable” hasta que sus limites corporales esten dentro de la escena. Si el individuo ya ha sido analizado estara incorporado como una entrada en el listado dinamico de siluetas de individuos analizados; en ese caso si la silueta del individuo analizado pasa a estar parcialmente (o totalmente) fuera de escena, dicha entrada es eliminada del listado.

Un paso crltico a la hora de realizar una correcta identification dinamica de individuos es la segmentation (elimination) del fondo de la imagen, es decir, todo aquello que no interesa a la hora de detectar siluetas de individuos.

Tras estos procesos se obtienen por atun mas de 80 parametros caracterlsticos de contorno, volumen, forma, pigmentacion, etc.

5

10

15

20

25

30

35

40

45

50

Tras la obtencion de los parametros caracterlsticos mencionados, estos son introducidos automaticamente en una red neuronal (Figura 7) que permite combinar funciones matematicas que simulan la manera en que las neuronas del cerebro se conectan entre si. De este modo, una red neuronal artificial puede ser entrenada mediante algoritmos interactivos para modelizar problemas de solucion compleja, estableciendo una relacion entre un espacio de caracterlsticas, en este caso incluye todas las caracterlsticas morfologicas, de silueta y de color de cada individuo, con las diferentes especies de atunes.

El procedimiento de extraction de estas caracterlsticas permite la identification de un vector de entrada a la red neuronal con mas de 80 parametros que deben conseguir una alta eficacia tras el entrenamiento y validation de la red. En concreto, se utilizan un conjunto de caracterlsticas: mas de 20 parametros geometricos y 80 parametros de coloracion.

En cuanto a los parametros geometricos, se extraen, analizan y procesan directamente:

- Distancias cabeza/cola, cabeza/aleta dorsal, boca/ojo, entre otros.

- Ancho en 5 secciones del individuo fraccionadas de cabeza a cola.

- Angulo definido por la tangente del individuo del pez con respecto a la horizontal.

- Angulo definido por las tangentes de la silueta sobre la nariz y sobre la mandlbula del pez.

Por otra parte, se utiliza otra base algorltmica de extraccion de puntos, que consiste en la proyeccion radial a partir del centro de masas C de la proyeccion del individuo, de diversas llneas 2 sobre las que se obtienen los distintos puntos de referencia 3, tal y como se muestra en la Figura 8A, perteneciente a una especie de referencia utilizada en el desarrollo.

Como se observa, el muestreo realizado consigue obtener una serie de puntos de referencia 3 que no estan equidistantes sobre la superficie del atun. De este modo, el hecho de que el muestreo radial empleado permite obtener una distribution de puntos no uniforme lo hace especialmente efectivo y muy interesante, ya que al verse afectada la distribucion de los puntos por la forma del atun se consigue que se maximicen las diferencias entre los puntos de referencia 3 de las distintas especies de atunes.

En la Figura 8B se muestra el muestreo obtenido en otra especie distinta, donde se observa que la distribucion de los puntos de referencia 3 cambia considerablemente debido a las diferencias morfologicas.

En cuanto a los parametros de coloration, se extraen y analizan parametros de porcentajes de color en cada banda espectral programada, la intensidad lumlnica por banda extralda, todo esto determinando tambien la zona del ejemplar donde se obtiene. Se extraen contrastes en perlmetro del ejemplar, en zonas de aletas y ojo. Esta information obtenida se combina para obtener un conjunto de parametros o indicadores colorimetricos necesarios para completar la determination de especie.

El procedimiento de modelizacion sigue un esquema agregativo. Para este equipo se ha identificado la funcion de neurona base para la red. Seguidamente se ha definido la estructura (basada siempre en la arquitectura del perceptron multicapa), condicionada por el numero de neuronas de entrada (las caracterlsticas) y el de salida (la especie de atun).

Con el fin de ofrecer una estimacion del nivel de prediccion de la red, se procede a la segmentation del rango numerico de salida de la red (entre 0 y 1, o 0% y 100%) en tres

5

10

15

20

25

30

35

40

45

50

rangos, aplicandoles el etiquetado de Indice de confianza previamente establecido: LOW: 0 - 60%; MEDIUM: 60 - 80% y HIGH: 80 - 100%.

El metodo de entrenamiento utilizado sobre la red resultante es el Resillient Backpropagation (RPROP). Este metodo es una variation dentro de la familia de algoritmos de retropropagacion, basados en la regla de delta, y de primer orden de optimization. La convergencia y robustez de este algoritmo es superior a otros algoritmos de la misma familia. RPROP utiliza parametros independientes que controlan la velocidad con que se recorre la funcion objetivo para cada uno de los pesos de la red neuronal. RPROP tampoco se ve afectado por la saturacion de las neuronas de la red neuronal, ya que solamente se usa la derivada para determinar la direction en la actualization de pesos. Consecuentemente, converge mas rapidamente que los algoritmos basados solo en backpropagation.

Los resultados obtenidos se quedan almacenados en el equipo con posibilidad de ser exportados, representados en pantalla o impresos mediante la generation de informes personalizados.

Por tanto, el sistema objeto de la presente invention basa su funcionamiento en la detection de la morfologla (silueta y pigmentation) de los atunes. Como toda la familia de tunidos presenta contorno y forma similar, se aplica una red neuronal artificial para la identificacion de la especie. Las redes neuronales no son otra cosa que una combinacion de funciones matematicas que simulan la manera en que las neuronas del cerebro se conectan entre si. De este modo, una red neuronal artificial puede ser entrenada mediante algoritmos iterativos para modelizar problemas de solution compleja, estableciendo una relation entre un espacio de caracterlsticas (en este caso toda la information obtenida a partir de la inspection de la silueta y la pigmentacion) con las diferentes clases (las diferentes especies de tunidos y el resto de especies).

La presente invencion aplica algoritmos desarrollados en exclusiva, basados en correlation de siluetas, estimation de volumenes en espacios multidimensionales de representation de color a partir de las imagenes de color, pudiendo procesar imagenes de fluorescencia, y segmentation y filtrado de las imagenes capturadas.

A la hora de identificar las especies, se requiere de un paso previo consistente en separar los individuos existentes en la escena del fondo. Esto conlleva a realizar una segmentacion e identification dinamica. Durante esta fase de pre-procesado las imagenes son sometidas a diferentes procesos de sustraccion y umbralizacion que conllevan diversas operaciones matematicas.

En la identificacion por forma se utiliza un algoritmo basado en la correspondencia de patrones geometricos frente a la tecnologla convencional de busqueda de patrones por correlacion normalizada en escala de grises, la comunmente denominada "NGC”. El sistema objeto de la invencion se basa en la correspondencia de patrones geometricos (Geometric Model Finder - GMF).

El algoritmo desarrollado reconoce la geometrla de cada individuo utilizando una serie de curvas llmite que no corresponden a una cuadrlcula de plxeles y despues busca formas similares en la imagen sin basarse en niveles especlficos de gris. El resultado es una mejora en la capacidad de localizar individuos con alta precision a pesar de los cambios de iluminacion, escala, rotation, y otros parametros condicionantes en un buque atunero de pesca comercial.

5

10

15

20

25

30

35

40

Para el desarrollo y creacion del modelo "GMF” se ha realizado un pre-tratamiento de las imagenes para eliminar ruido y tambien se han umbralizado a fin de obtener una imagen binaria con la silueta de cada especie.

Otros de los procesos que realiza el sistema es la clasificacion mediante modelo de detection de colores en tres bandas rojo, verde y azul (RGB) en la pigmentation de los atunes. El modelo procesa y entrega niveles de intensidad, numero de pixeles, de cada una de las 3 bandas mencionadas.

Tras la obtencion de los datos procedentes de los algoritmos anteriores, la red neuronal empleada incluye todas las caracterlsticas morfologicas, de silueta y de pigmentacion de cada individuo.

De forma preferente, el sistema es controlado mediante un modulo de control comprendido por los medios de procesamiento de forma que el operario maneja el sistema mediante una serie de interfaces mostradas por pantalla, preferentemente tactil que controla las operaciones de dicho sistema.

El operario puede seleccionar informacion por cada lance inspeccionado, como el identificador del mismo, el tipo de especies detectadas, y el tipo de inspection a realizar. El modulo de control puede configurarse para que al final de una sesion de inspeccion, el sistema emita un informe de resultados, donde, de manera grafica y estadlstica, se muestren los resultados de la inspeccion. Por otro lado, el modulo de control, dispone de una base de datos interna en la que se almacenen los resultados de la inspeccion de cada lance, para una posterior consulta y filtrado segun diversos criterios de busqueda, por fechas, por especies, por tamanos, etc.

Paralelamente a la inspeccion en busca de especies, el sistema puede estimar ademas la talla, el tamano y la biomasa de cada individuo, ofreciendo estadlsticas adicionales en relation al peso total por lance, pesos medios y desviaciones estandares. Los resultados de la estimacion de pesos tambien pueden incluirse en la base de datos interna del sistema y ser exportable a disposicion del operario. El tamano se extrae de los calculos de silueta y forma (angular frontal, cola, mandibular, proportion ojo-branquia, anchura de la cabeza, el vientre, el tramo final y la cola, longitud total, de la cabeza, de la cola, etc.). El peso, una vez obtenido el volumen, se obtiene aplicando un calculo dependiendo del peso especlfico por cm3, que varla segun la especie determinada.

Una vez descrita de forma clara la invention, se hace constar que las realizaciones particulares anteriormente descritas son susceptibles de modificaciones de detalle siempre que no alteren el principio fundamental y la esencia de la invencion.

Claims (10)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   REIVINDICACIONES

   1. Metodo para la estimation de atunes capturados por especie a bordo de embarcaciones pesqueras, caracterizado por que comprende:

   - capturar una secuencia de imagenes a color de los atunes capturados en su transito por una zona de paso (40) iluminada mediante luz difusa;

   - procesar cada imagen capturada para:

   • extraer, mediante tecnicas de segmentation, la silueta de cada individuo presente en la imagen;

   • generar mediante interpolation las partes ocultas de individuos que esten parcialmente ocultos en la imagen;

   • realizar una identification geometrica de cada individuo mediante un proceso de correspondencia de patrones geometricos, obteniendo parametros geometricos de cada individuo;

   • extraer el porcentaje de color por banda definida en cada individuo, obteniendo parametros de coloration de cada individuo;

   • introducir un vector de entrada con los parametros geometricos y de coloration obtenidos para cada individuo en una red neuronal artificial que establece una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo con distintas especies de atunes, para estimar la especie de atun a la que pertenece el individuo;

   - una vez procesadas todas las imagenes, estimar los diferentes atunes capturados por especie.
2. 2. Metodo segun la revindication 1, caracterizado por que comprende estimar el tamano y el peso de cada individuo detectado en la imagen a partir de los calculos de su silueta y forma.
3. 3. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que la segmentation de la imagen incluye procesos de sustraccion y umbralizacion.
4. 4. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que el proceso de generation de las partes ocultas de atunes se realiza cuando dichas partes ocultas representen un porcentaje del area del atun por debajo de un umbral de solapamiento determinado.
5. 5. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que la red neuronal artificial es de tipo perceptron multicapa.
6. 6. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que la red neuronal artificial establece una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo con distintas especies de atunes y con otras especies diferentes, para obtener as! la captura accesoria.
7. 7. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que la red neuronal artificial es entrenada mediante el algoritmo de aprendizaje supervisado RPROP.
8. 8. Metodo segun cualquiera de las reivindicaciones anteriores, caracterizado por que comprende una etapa de identification dinamica de individuos en la secuencia de imagenes capturada por la que se realiza un seguimiento e identification en las distintas imagenes de las siluetas de aquellos individuos que ya hayan sido analizados, evitando

   5

   10

   15

   20

   25

   30

   asl duplicidades en el analisis de un mismo individuo.
9. 9. Sistema para la estimacion de atunes capturados por especie a bordo de embarcaciones pesqueras, caracterizado por que comprende:

   - medios de captura de imagenes (10) configurados para capturar una secuencia de imagenes a color de los atunes capturados en su transito por una zona de paso (40);

   - medios de iluminacion (20) configurados para iluminar la zona de paso (40) mediante luz difusa;

   - un modulo de control (30) con medios de procesamiento de datos configurados

   para:

   • procesar cada imagen capturada para:

   - extraer, mediante tecnicas de segmentation, la silueta de cada individuo presente en la imagen;

   - generar mediante interpolation las partes ocultas de individuos que esten parcialmente ocultos en la imagen;

   - realizar una identification geometrica de cada individuo mediante un proceso de correspondencia de patrones geometricos, obteniendo parametros geometricos de cada individuo;

   - extraer el porcentaje de color por banda definida en cada individuo, obteniendo parametros de coloration de cada individuo;

   - introducir un vector de entrada con los parametros geometricos y de coloracion obtenidos para cada individuo en una red neuronal artificial que establece una relation entre las caracterlsticas morfologicas, de silueta y de color de cada individuo con distintas especies de atunes, para estimar la especie de atun a la que pertenece el individuo;

   • una vez procesadas todas las imagenes, estimar los diferentes atunes capturados por especie.
10. 10. Sistema segun la revindication 9, caracterizado por que los medios de procesamiento de datos del modulo de control (30) estan adicionalmente configurados para estimar el tamano y el peso de cada individuo detectado en la imagen a partir de los calculos de su silueta y forma.