ES2875464T3 - Método para la clasificación por sexos de mosquitos y aparato para ello - Google Patents

Abstract

Método para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar, comprendiendo el método: obtener dichos mosquitos sin clasificar; identificar individuos en una fase estacionaria, siendo la fase estacionaria seleccionada lo suficientemente larga como para permitir la identificación; obtener imágenes de individuos de dichos mosquitos sin clasificar en dicha fase estacionaria; clasificar electrónicamente a dichos individuos de dichas imágenes en al menos un miembro de un grupo de clasificaciones que incluye mosquitos macho, mosquitos hembra y objetos sin clasificar; obtener coordenadas de individuos de al menos una de dichas clasificaciones de mosquitos macho y mosquitos hembra, refiriéndose dichas coordenadas a una posición en dicha fase estacionaria; utilizar un brazo robótico (200) para llegar a un individuo identificado por una de dichas coordenadas obtenidas mientras dicho individuo se encuentra en dicha fase estacionaria, para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexo.

Description

DESCRIPCIÓN

Método para la clasificación por sexos de mosquitos y aparato para ello

Campo y antecedentes de la invención

La presente invención se refiere a la clasificación por sexos de mosquitos y, más particularmente, pero no exclusivamente, a un método y aparato para proporcionar mosquitos macho clasificados.

Hasta la fecha, la TIE (técnica de insectos estériles) para mosquitos se ha mostrado en proyectos a pequeña escala en todo el mundo, como una herramienta prometedora y eficaz para combatir enfermedades transmitidas por mosquitos. La idea es liberar mosquitos macho con características únicas tales que sus crías no evolucionen, o los machos distribuidos sean estériles de tal manera que no habrá crías.

Estudios preliminares a pequeña escala, en los que se liberaron unos pocos millones de mosquitos macho en un área pequeña, realizados por diferentes instituciones de investigación y empresas, demostraron una reducción en la población de mosquitos en esa área semanas después de distribuir los mosquitos macho genomanipulados semanalmente.

Para tratar grandes áreas, se necesitan millones de mosquitos a diario.

Sin embargo, los costes operativos asociados con la mano de obra intensiva implicada en el proceso de crianza y manipulación hoy en día impiden que la TIE para mosquitos se amplíe. Las etapas específicas en el proceso de crianza a los que se refiere son:

1. El procedimiento de clasificación por sexos. Se requiere liberar solo machos, en lugar de liberar hembras cuando el objetivo general es reemplazar la población local y crear un nuevo tipo de población de mosquitos. Los mosquitos deben clasificarse entre hembras y machos, y solo los machos deben estar en las cajas de liberación enviadas al campo para su liberación.

2. La carga de los mosquitos en las cajas de liberación. Hoy en día, el procedimiento habitual es colocar la pupa (junto con agua) dentro de las cajas de liberación. Como cada caja de liberación puede contener del orden de 700 a 1500 mosquitos, los trabajadores necesitan transferir la pupa de otros recipientes más grandes y medir la cantidad transferida, aunque no se requiere resolución a un solo mosquito. Transferir 1.000 pupas a una caja de liberación en un momento en que se necesitan millones de pupas por día es un trabajo muy intensivo que requiere tiempo y personal. Los costes son demasiado altos para operaciones a gran escala.

Existe una investigación en curso para optimizar el proceso de clasificación. Sin embargo, la mayoría de los sistemas hasta la fecha, han intentado clasificar mientras estaban en la etapa de pupa (según el peso, tamaño, color). Otros intentos han implicado eliminar a los mosquitos hembra mientras son adultas.

Un problema es que el mosquito adulto puede ser muy activo y, por lo tanto, desde el momento en que se clasifica su sexo hasta que se logra hacer algo, puede que se haya movido o se haya ido volando.

Además, tener otros mosquitos en el campo de visión puede oscurecer el sensor de visión. La clasificación de la pupa, puede provocar grandes daños colaterales (es decir, muchos machos muertos).

El documento US 2014/226860 A1 divulga un método para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos de mosquitos sin clasificar, y un aparato para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar. El aparato comprende un generador de imágenes configurado para identificar mosquitos individuales sin clasificar y un procesador configurado para clasificar electrónicamente a los individuos.

Sumario de la invención

Las presentes realizaciones pueden utilizar un momento en el que los mosquitos adultos aún están quietos para aplicar la imagen y después recoger los insectos deseados o eliminar los insectos no deseados. Dicho momento puede ser el momento en que el insecto emerge de la pupa, o cuando los insectos se enfrían a una temperatura en la que están quietos. En ambos casos, los insectos permanecen quietos durante un período de tiempo que es lo suficientemente largo como para identificarlos mediante el proceso de obtención de imágenes y después recogerlos o eliminarlos, ya que el proceso de obtención de imágenes es capaz de guiar un brazo robótico para encontrar el insecto.

De acuerdo con un aspecto de la presente invención definido en la reivindicación 1, se proporciona un método para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar, comprendiendo el método:

obtener dichos mosquitos sin clasificar;

obtener imágenes de individuos de dichos mosquitos sin clasificar en una fase estacionaria;

clasificar electrónicamente a dichos individuos de dichas imágenes en al menos un miembro de un grupo de clasificaciones que incluye mosquitos macho, mosquitos hembra y objetos sin clasificar;

obtener las coordenadas de individuos de al menos una de dichas clasificaciones de mosquitos macho y mosquitos hembra;

utilizar un brazo robótico para llegar a un individuo identificado por una de dichas coordenadas obtenidas para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexo.

En una realización, dicha clasificación comprende utilizar una red neuronal entrenada.

En una realización, dicha red neuronal entrenada comprende cuatro o más capas.

En una realización, dicha obtención de imágenes comprende obtener fotogramas sucesivos, generar diferencias entre dichos fotogramas sucesivos y utilizar dichas diferencias para determinar qué individuos se encuentran en dicha fase estacionaria.

En una realización, dicha clasificación comprende utilizar una red neuronal recurrente (RNN, del inglés 'recurrent neural network').

En una realización, dichos insectos sin clasificar son pupas emergentes y dicha fase estacionaria es de emergencia. En una realización, dichos insectos sin clasificar son adultos y dicha fase estacionaria se obtiene mediante el enfriamiento de dichos insectos.

El método puede comprender el seguimiento del movimiento de insectos individuales para actualizar las respectivas coordenadas obtenidas antes de utilizar dicho brazo robótico.

El método puede comprender obtener dichas imágenes para su clasificación utilizando una primera cámara de resolución relativamente elevada y realizar dicho seguimiento utilizando una segunda cámara de resolución relativamente baja.

En una realización, dichas coordenadas obtenidas son de dicha clase masculina y dichos individuos identificados se recogen y almacenan.

En una realización, dicho brazo robótico comprende un dispositivo de succión o un dispositivo de soplado para recoger a dichos individuos identificados y almacenarlos.

En una realización, dichas coordenadas obtenidas son de dicha clase femenina y dichos individuos identificados se destruyen.

En una realización, dicho brazo robótico comprende un eliminador para destruir dichos individuos identificados. En una realización, dicho eliminador es un miembro del grupo que comprende un electrodo y un láser.

En una realización, si un individuo no se clasifica en macho o hembra en un tiempo predeterminado, entonces la imagen se envía a un operador.

En una realización, si un individuo no se clasifica como macho en un tiempo predeterminado, entonces se clasifica como hembra.

En una realización, dichos insectos se enfrían en un recipiente que tiene paredes, de modo que los insectos enfriados se coloquen en un lado interior de dichas paredes, comprendiendo el método desmontar dicha caja para presentar dichos lados interiores de dichas paredes para dicha obtención de dichas imágenes.

En una realización, dichos insectos se enfrían en un recipiente que tiene una trampilla y dicha trampilla se abre sobre un primer transportador en movimiento, para permitir que dichos insectos enfriados caigan, dicho primer transportador en movimiento lleva dichos insectos a un lugar de toma de imágenes para dicha obtención de imágenes, y dicho transportador se detiene con insectos en dicho lugar de toma de imágenes para obtener dichas coordenadas.

En una realización, dicho primer transportador en movimiento es un transportador en movimiento relativamente rápido, para evitar así que la acumulación de insectos interrumpa las imágenes, en donde dichas coordenadas obtenidas son de la clase hembra de modo que los insectos machos quedan retenidos en el transportador, vaciándose el primer transportador en movimiento sobre un segundo transportador en movimiento que es un transportador en movimiento relativamente lento, transportando dicho transportador en movimiento relativamente lento dichos insectos retenidos para colocarlos en cartuchos de almacenamiento.

De acuerdo con un segundo aspecto de la presente invención definido en la reivindicación 12, se proporciona un aparato para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar, comprendiendo el aparato:

una fuente de mosquitos sin clasificar;

una cámara configurada para encontrar mosquitos individuales en una fase estacionaria y obtener imágenes y coordenadas de dichos individuos;

un clasificador, configurado para clasificar electrónicamente a dichos individuos de dichas imágenes en al menos un miembro de un grupo de clasificaciones que incluye mosquitos macho, mosquitos hembra y objetos sin clasificar;

un brazo robótico conectado a dicho clasificador y configurado para llegar a un individuo identificado por una de dichas coordenadas obtenidas para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexo.

A menos que se definan de otro modo, todos los términos técnicos y/o científicos utilizados en el presente documento tienen el mismo significado que entiende habitualmente un experto en la materia a la que pertenece la invención. Aunque en la práctica o el ensayo de realizaciones de la invención pueden utilizarse métodos y materiales similares o equivalentes a los descritos en el presente documento, a continuación se describen métodos y/o materiales ilustrativos. En caso de conflicto, la memoria descriptiva de la patente, incluyendo las definiciones, prevalecerá. Además, los materiales, métodos y ejemplos son solo ilustrativos y no se pretende que sean necesariamente limitantes.

La implementación de la toma de imágenes y la dirección de los brazos robóticos en las realizaciones de la invención puede implicar realizar o completar tareas seleccionadas manualmente, automáticamente o una combinación de las mismas. Además, de acuerdo con la instrumentación y el equipo reales de las realizaciones del método y/o el sistema de la invención, podrían implementarse varias tareas seleccionadas mediante hardware, mediante programas informáticos o mediante firmware, o por una combinación de los mismos utilizando un sistema operativo.

Por ejemplo, el hardware para realizar tareas seleccionadas de acuerdo con las realizaciones de la invención podría implementarse como un chip o un circuito. Como programa informático, las tareas seleccionadas de acuerdo con las realizaciones de la invención podrían implementarse como una pluralidad de instrucciones de programas informáticos ejecutadas por un ordenador utilizando cualquier sistema operativo adecuado. En una realización ilustrativa de la invención, una o más tareas de acuerdo con realizaciones ilustrativas del método y/o sistema como se describe en el presente documento se realizan por un procesador de datos, tal como una plataforma informática para ejecutar una pluralidad de instrucciones. Opcionalmente, el procesador de datos incluye una memoria volátil para almacenar instrucciones y/o datos y/o un almacenamiento no volátil, por ejemplo, un disco duro magnético y/o un medio extraíble, para almacenar instrucciones y/o datos. Opcionalmente, también se proporciona una conexión de red. También se proporcionan opcionalmente una pantalla y/o un dispositivo de entrada de usuario, tal como un teclado o un ratón.

Breve descripción de las distintas vistas de los dibujos

Algunas realizaciones de la invención se describen en el presente documento, solo como ejemplo, con referencia a los dibujos y fotografías adjuntos. Con referencia específica ahora a los dibujos en detalle, se enfatiza que los detalles mostrados son a modo de ejemplo y con fines de análisis ilustrativo de realizaciones de la invención. En este sentido, la descripción tomada junto con los dibujos hace evidente para los expertos en la materia cómo pueden ponerse en práctica realizaciones de la invención.

En los dibujos:

La figura 1 es un diagrama de flujo simplificado de una primera realización de la presente invención que utiliza una fase estacionaria para visualizar y clasificar mosquitos y después clasificarlos en consecuencia;

La figura 2 es un diagrama simplificado que muestra una realización en la que se vierten mosquitos enfriados sobre un transportador para obtener imágenes en una fase estacionaria de acuerdo con la figura 1;

Las figuras 3 a 7 muestran un aparato prototipo para llevar a cabo el método de la figura 1;

Las figuras 8 y 9 son diagramas esquemáticos simplificados que muestran dispositivos de succión para succionar insectos en un cartucho de liberación de acuerdo con realizaciones de la presente invención;

Las figuras 10 y 11 muestran insectos enfriados en las paredes de las cajas, en un estado listo para la toma de imágenes y la clasificación de acuerdo con realizaciones de la presente invención;

La figura 12 es un gráfico que muestra las diferencias visuales entre mosquitos macho y hembra;

Las figuras 13 y 14 ilustran dos imágenes reales tomadas de una bandeja de pupas con adultos emergentes para su clasificación utilizando las realizaciones de la presente invención;

La figura 15 es un diagrama de flujo simplificado que muestra un proceso para obtener fotogramas de alta y baja resolución y realizar la detección, clasificación y seguimiento;

La figura 16 es una vista de una bandeja de pupas con eventos de clasificación de acuerdo con realizaciones de la presente invención;

La figura 17 ilustra una bandeja de pupas con regiones de interés aún no identificadas;

La figura 18 ilustra una región de interés que se encuentra en la figura 17 de acuerdo con las presentes realizaciones;

La figura 19 muestra un rastro hecho por un insecto en la bandeja de la figura 17 y rastreado de acuerdo con las presentes realizaciones;

La figura 20 muestra los efectos de amontonarse en los bordes de una bandeja para evitar la clasificación de insectos individuales en la pila;

Las figuras 21 a 23 ilustran el vertido de insectos fríos sobre un transportador para la clasificación sin apilamiento de acuerdo con realizaciones de la presente invención;

La figura 24 es un diagrama de flujo simplificado que muestra un procedimiento para verter insectos en un transportador frío y clasificarlos de acuerdo con realizaciones de la presente invención;

La figura 25 es un diagrama de flujo simplificado que muestra un procedimiento alternativo para colocar paredes de recipientes con insectos en pie sobre un transportador frío y clasificarlos de acuerdo con realizaciones de la presente invención;

Las figuras 26 y 27 muestran un esquema y una fotografía, respectivamente, de un robot recolector en una clasificación y línea de clasificación de acuerdo con realizaciones de la presente invención;

Las figuras 28 a 32 son diagramas esquemáticos que muestran cinco variaciones diferentes de un robot recolector de acuerdo con las presentes realizaciones, y

La figura 33 es un diagrama simplificado que muestra cómo se pueden alimentar los insectos en un recipiente lleno de acuerdo con las presentes realizaciones.

Descripción de realizaciones específicas de la invención

La presente invención, en algunas realizaciones de la misma, se refiere a la clasificación por sexos de mosquitos y, más particularmente, pero no exclusivamente, a un método y aparato para proporcionar mosquitos macho clasificados. Un método y aparato para la clasificación por sexos mecánica o electromecánica u otra clasificación automática de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar comprende la obtención de mosquitos sin clasificar, obtener imágenes de mosquitos individuales en una fase estacionaria, clasificar electrónicamente a los individuos de las imágenes en mosquitos macho y/o mosquitos hembra, y posiblemente también en objetos sin clasificar; obtener coordenadas de individuos de al menos una de las clasificaciones de mosquitos macho y mosquitos hembra, y utilizar un brazo robótico para llegar a un individuo identificado por las coordenadas obtenidas para almacenar o retirar los individuos, para así proporcionar mosquitos clasificados por sexo. La fase estacionaria es cualquier fase en la que el mosquito no se mueve o apenas se mueve. Una posibilidad es cuando los insectos se enfrían y permanecen inmóviles en las paredes, o se enfrían más para caer al suelo. Otra posibilidad es cuando los insectos adultos emergen de la pupa.

Antes de explicar al menos una realización de la invención en detalle, debe entenderse que la invención no está necesariamente limitada en su aplicación a los detalles de construcción y la disposición de los componentes y/o métodos establecidos en la siguiente descripción y/o ilustrados en los dibujos y/o los ejemplos. La invención tiene capacidad para otras realizaciones o puede practicarse o llevarse a cabo de diversas maneras.

Haciendo referencia a continuación a los dibujos, La figura 1 ilustra un diagrama de flujo que muestra una realización generalizada de la presente invención. Un método para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar puede comenzar con mosquitos sin clasificar 10. Se identifica una fase estacionaria, durante la emergencia como un estadio, o se aplica mediante enfriamiento 12, y se toman imágenes de los mosquitos en la fase estacionaria - 14. Las imágenes se utilizan para clasificar a los individuos 16. Las clases utilizadas pueden incluir machos y cualquier otra cosa, o hembras y cualquier otra cosa, o machos, hembras y cualquier otra cosa. Las coordenadas 18 se proporcionan junto con el género de los individuos de interés. En algunos casos se recogen los machos y en otros casos se eliminan las hembras.

A continuación, se puede utilizar un brazo robótico para llegar a un individuo identificado por las coordenadas obtenidas para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexos 22.

La clasificación se puede llevar a cabo utilizando una red neuronal entrenada, y la red neuronal puede ser una red neuronal clásica o una red profunda, incluyendo una red neuronal convolucional o cualquier otro tipo de red neuronal. La red neuronal entrenada puede comprender cuatro o más capas.

En una realización, la etapa de obtención de imágenes 14 puede relacionarse con la obtención y consideración de fotogramas individuales. Como alternativa, los fotogramas sucesivos se pueden clasificar juntos generando diferencias entre fotogramas sucesivos y utilizando las diferencias para determinar qué individuos están en la fase estacionaria. Por lo tanto, si los fotogramas sucesivos muestran la forma de un mosquito y pocos cambios, la implicación es que se está viendo un mosquito inmóvil.

La clasificación de fotogramas sucesivos puede implicar el uso de una red neuronal recurrente (RNN, del inglés 'recurrent neural network'), como se mostrará con mayor detalle a continuación.

En una realización, los insectos sin clasificar son pupas emergentes y la fase estacionaria 12 es la fase de emergencia en la que el adulto emerge de la pupa.

Como alternativa, los insectos sin clasificar son adultos y la fase estacionaria se obtiene mediante el enfriamiento de los insectos.

Los insectos no son necesaria ni absolutamente estacionarios durante la fase estacionaria y, por lo tanto, una realización utiliza imágenes para rastrear 24 el movimiento de insectos individuales para actualizar las coordenadas obtenidas en el recuadro 18, para que el brazo robótico se mueva a la ubicación correcta.

La obtención de imágenes para la clasificación puede utilizar una primera cámara de resolución relativamente alta y el seguimiento puede utilizar una segunda cámara de resolución relativamente baja con un amplio campo de visión. Alternativamente, se puede utilizar una sola cámara para ambos, siempre que combine una resolución suficiente con un campo de visión suficiente.

En realizaciones, las coordenadas obtenidas son de la clase macho y los individuos identificados se recogen y almacenan. El brazo robótico puede utilizar un dispositivo de succión o un dispositivo de soplado para recoger los individuos identificados y guardarlos.

Como alternativa, las coordenadas obtenidas son de la clase hembra y los individuos identificados son destruidos o eliminados de otro modo. Se puede retener un pequeño número para la reproducción. El brazo robótico puede comprender un eliminador para destruir a los individuos identificados, o puede, como antes, utilizar un dispositivo de succión o soplador.

El eliminador puede ser un electrodo o un solenoide o un láser, etc.

En una realización, si un individuo no se clasifica en macho o hembra en un tiempo predeterminado, entonces, la imagen se envía a un operador para su adjudicación. Como alternativa, si un individuo no se clasifica como macho en un tiempo predeterminado, entonces se clasifica como hembra.

En una realización, los insectos se enfrían para obtener imágenes en un recipiente que tiene paredes, de modo que los insectos enfriados se colocan en un lado interior de las paredes. A continuación, la caja se desmonta para presentar los lados interiores de las paredes para tomar imágenes.

Con referencia ahora a la figura 2, los insectos se enfrían en un recipiente 30 que tiene una trampilla y la trampilla se abre sobre un primer transportador 32 en movimiento, también mantenido a baja temperatura, para permitir que los insectos enfriados caigan sobre el transportador. El primer transportador en movimiento lleva los insectos a una ubicación 34 de toma de imágenes en el sistema 35 de toma de imágenes por cámara. El transportador puede pararse cuando los insectos llegan a la ubicación de la toma de imágenes para permitir la toma de imágenes con coordenadas y, a continuación, el robot 36 recoge los insectos seleccionados, en este caso generalmente las hembras, dejando que los machos se caigan del extremo del transportador hacia las cajas de liberación 38.

En una realización, la parte 40 del transportador 32 más allá del área de toma de imágenes puede ser un segundo transportador que recoge los mosquitos del primer transportador y después se desplaza más lentamente al área de llenado.

El primer transportador 32 en movimiento puede ser un transportador en movimiento relativamente rápido, donde la velocidad esparce los mosquitos que caen, para que los insectos no se amontonen y alteren las imágenes. El primer transportador 32 en movimiento puede vaciarse sobre el segundo transportador 40 en movimiento, siendo un transportador en movimiento relativamente lento.

De manera más detallada, las presentes realizaciones proporcionan tecnología para la detección y clasificación automática o semiautomática de mosquitos.

Para poder realizar una buena clasificación y selección de los mosquitos, el mosquito identificado debe estar en una posición en la que pueda identificarse como un individuo y verse claramente, y después debe permanecer relativamente quieto y ciertamente no volar entre la clasificación y el momento en que se puede recoger o retirar en el proceso de clasificación.

Dos realizaciones diferentes proporcionan estas propiedades de diferentes formas.

Una primera realización utiliza enfriamiento para enfriar el aire, para que los mosquitos no se muevan y después hacer la clasificación. En realizaciones, la temperatura se reduce a -6-12 grados centígrados, lo suficientemente baja para que los mosquitos no vuelen, pero lo suficientemente alta para que sigan de pie y no caigan al suelo y se enreden entre sí.

Una variación de la misma realización reduce aún más la temperatura, o la caja se agita con el nivel anterior de enfriamiento, para derribar a los mosquitos en el suelo.

Una segunda realización utiliza un sistema que controla una bandeja de pupas alrededor de la etapa de emergencia y utiliza el hecho de que el sexo del mosquito ya se puede identificar visualmente justo antes de que el mosquito adulto emerja por completo. En este punto, el mosquito está parado o casi parado durante varios minutos, proporcionando suficiente tiempo para detectar, clasificar y después realizar la selección. Dicho sistema está hecho de una bandeja de pupas con agua, pupas y un sistema de visión. Como se analizará, diferentes métodos de clasificación de imágenes son adecuados para diferentes realizaciones, y estos incluyen tanto redes neuronales clásicas como redes convolucionales y otras que implican aprendizajes profundos.

Las presentes realizaciones, pueden clasificar y manipular de manera automática los insectos adultos según el proceso de clasificación para proporcionar insectos clasificados en cartuchos de liberación.

Las presentes realizaciones pueden manejar los machos para su selección y uso posterior, dejar atrás a las hembras, o manipular a las hembras y eliminarlas, dejando a los machos para su uso posterior.

El sistema robótico puede potencialmente recibir una lista de prioridades del sistema de detección y clasificación, indicándole qué mosquito manipular primero, tal como se describirá con más detalle más adelante.

Una realización puede incluir una bandeja de pupas con agua y pupas en el interior.

Además, se puede proporcionar un sensor de visión para detectar y clasificar los mosquitos cuando emergen.

Opcionalmente, una caja con redes rodeando la bandeja de pupas para evitar que los mosquitos emergentes se escapen al exterior.

Un sistema robótico puede contener un brazo y una herramienta de manipulación para manipular los mosquitos individuales. El sistema robótico también incluye un controlador para recibir coordenadas y guiar el brazo robótico y la herramienta de manipulación para moverse a esas coordenadas. Los movimientos pueden estar en los ejes X-Y-Z, proporcionando la capacidad de que la herramienta de manipulación alcance todas las áreas frente a la superficie sobre la que se encuentran los mosquitos adultos.

En una realización, la herramienta de manipulación puede comprender un tubo de succión y un motor con controlador. La succión puede ser del orden de 3 a 8 metros por segundo para un diámetro de tubo del orden de 6 a 12 mm. Son posibles tubos más grandes, pero pueden succionar más que solo el mosquito diana seleccionado, alterando así la capacidad de selección del sistema.

La herramienta de manipulación se desplaza a la posición X-Y del mosquito y el tubo de succión se baja a lo largo del eje Z para encontrarse con el mosquito.

Ahora se hace referencia a las figuras 3 y 4, que ilustran un prototipo en el que una bandeja de pupas con agua se encuentra debajo de una estructura que sostiene un brazo robótico. Como se muestra en las figuras 3 y 4, un sensor 50 de proximidad puede estar situado encima de la bandeja de pupas 52 para detectar la distancia a la superficie del agua como medida de seguridad. El mismo u otro sensor puede seguir el tubo de succión 54 que está siendo manejado por el brazo de robot 56 para asegurar que alcance una distancia de aproximadamente 0,5 cm del mosquito, o aproximadamente 1 cm de la superficie del agua. Es decir, el sensor proporciona información sobre la posición del tubo de succión para una actuación correcta.

A continuación, se hace referencia a la figura 6, que es un diagrama esquemático que muestra el tubo de succión 62 y el controlador del motor 64. El tubo se mueve sobre el área de la bandeja 66. Una vez que el tubo de succión está por encima de las coordenadas del mosquito, la succión funciona para recoger el mosquito seleccionado que se lleva a un cartucho de almacenamiento 58 como el que se muestra en la figura 5. El mosquito 60 entra entonces en el cartucho.

De esa manera, los mosquitos macho emergentes se seleccionan y se colocan en los cartuchos de liberación.

Para el mantenimiento de la colonia, las hembras y los machos seleccionados se pueden transferir y descargar juntos en cajas de cría, para mantener el tamaño de la colonia de cría. Las hembras también se pueden eliminar mediante su transferencia a cajas de hembras para su eliminación si es necesario.

Mientras los mosquitos se succionan uno por uno, puede haber un control continuo del número de mosquitos que se cargan en cada cartucho de liberación o en las cajas de cría. La figura 7 ilustra un cartucho de liberación 70 que está lleno.

En otra realización, en lugar de succionar los mosquitos hembra, un módulo láser que se puede proporcionar con coordenadas, puede disparar un haz de láser y destruir a un mosquito hembra. En esa realización, el haz de láser se dirige hacia el mosquito hembra con coordenadas proporcionadas por el proceso de detección y clasificación.

El término "eliminar" se utiliza en el presente documento para describir diferentes formas de destruir a los mosquitos hembra, incluyendo dicho uso de un haz de láser.

En otra realización, en lugar de succionar a los machos, es posible esperar hasta que vuelen. En ese caso, hay dos opciones:

En la primera opción, la bandeja de pupas se coloca dentro de una caja.

Las hembras se extraen o se eliminan con un eliminador guiado robótico o con un haz de láser u otro tipo de eliminador, por ejemplo, un electrodo que electrocuta a los insectos, o un solenoide que, cuando se activa, empuja al mosquito hembra al agua para que se ahogue.

A continuación, se puede dejar que los machos emerjan en la caja.

Al final del proceso, la idea es que haya una bandeja de pupas sin pupas y una caja con machos solamente.

El eliminador robótico se coloca dentro de la caja, requiriendo una caja lo suficientemente grande, o el eliminador puede entrar a través de una abertura cada vez que el sensor de visión clasifica a un mosquito como mosquito hembra. El sistema de visión se coloca a una distancia que proporciona la resolución requerida para el sensor, ya sea justo encima de la placa de pupas o encima de la caja con un techo transparente y capacidad de acercamiento.

La resolución normal de la cámara puede ser de 5 megapíxeles, es decir, que utiliza un sensor de 2000 * 2500 píxeles. Si el campo de visión es una región que tiene una longitud de 30 cm, se divide por la dimensión y se obtiene el número de píxeles por mm. Las presentes realizaciones pueden tener al menos dos a tres píxeles a lo largo de las características distintivas de los mosquitos. La distancia de la cámara a la bandeja y el número de píxeles en el sensor están, por lo tanto, conectados para proporcionar una sensibilidad.

A continuación, se hace referencia a la figura 8, que ilustra una segunda opción. Por encima de la bandeja de pupas 80 hay un tubo 82 para guiar a los mosquitos emergentes hacia los cartuchos de liberación. De esa manera, muchos mosquitos que emergen de una sola bandeja de pupas pueden ser guiados a través de conductos hacia un cartucho de liberación. Una vez que el sistema identifica que el número de mosquitos transferidos a ese cartucho ha alcanzado el número requerido, el mecanismo puede cambiarse para comenzar a llenar el siguiente cartucho. Esto puede suceder, por ejemplo, alejando el cartucho lleno e introduciendo por debajo de la salida del conducto principal un nuevo cartucho de liberación para llenar.

Para que los cartuchos sean guiados de manera activa, se puede introducir flujo de aire en el conducto, para apoyar el movimiento de los mosquitos a lo largo de los conductos, hacia un conducto principal y después hacia el cartucho de liberación.

Con referencia ahora a la figura 9, la unidad de succión 90 puede colocarse por encima de las coordenadas correctas del insecto identificado en la bandeja 92 según lo proporcionado por la cámara (no mostrada) después de ejecutar el proceso de detección y clasificación. Un conducto de guía 93 con flujo de aire conduce al cartucho de liberación 94. El cartucho de liberación 94 tiene una abertura en donde al empujar desde el exterior, el conducto de guía 93 puede entrar en el cartucho de liberación sin dejar que los mosquitos escapen al exterior.

En los prototipos, se demostró que el proceso de emergencia toma alrededor de 3 a 5 minutos, y que después de que los mosquitos emergen por completo con sus 6 patas, por lo general, permanecerán quietos en el agua durante al menos 3 minutos más. Algunos caminaron después de 3 minutos, algunos caminaron o volaron después de 15 minutos y más.

Se demostró que la detección y clasificación por cada fotograma duraban entre 0,5 y 1,5 segundos, con una media de 1 segundo.

La distancia que el eliminador robótico necesitaba moverse para alcanzar las coordenadas del mosquito era del orden de decenas de centímetros. El tiempo requerido para eso es del orden de 2 segundos, incluyendo la succión. El proceso de clasificación puede continuar en paralelo a la operación robótica, por tanto, mientras el brazo robótico se mueve hacia un mosquito, el algoritmo ya clasifica al siguiente, por lo que el ciclo total entre mosquitos es de 2 segundos. Esto significa que durante 24 horas, un robot puede clasificar alrededor de 43.000 mosquitos. Puede decidirse utilizar placas nuevas cada 24 horas para aumentar la productividad. Por tanto, para una tasa de producción de clasificación diaria de 5 millones de mosquitos (o 35 millones por semana), se necesitan unos 1 l6 sistemas robóticos.

Hoy en día, el coste de un solo robot de ese tamaño y alcance es del orden de 5.000 euros, dando como resultado un coste total de alrededor de 500 mil euros para el equipo de clasificación automática para una instalación con una tasa de producción de 35 millones de mosquitos por semana. Esto es mucho más asequible que los cientos de personas que se requerirían para lograr la misma tasa de manera manual.

En la segunda realización principal presentada al principio, el sistema incluye una unidad de refrigeración, capaz de bajar la temperatura a 6-12 grados centígrados con una resolución de 1 grado centígrado, una caja con mosquitos adultos sin clasificar, un sistema robótico que comprende un eliminador y un mecanismo para desplazar a lo largo de los lados y la parte superior e inferior de la caja de mosquitos, preferentemente desde el lado externo de la caja. El método comprende enfriar la temperatura y esperar cinco minutos hasta que los mosquitos hayan dejado de volar y estén descansando sobre las paredes de la caja.

La detección y clasificación se lleva a cabo en los mosquitos y para mosquitos individuales, se obtiene el género. Si se necesita el robot porque la clasificación indica un mosquito que necesita ser recogido o eliminado, entonces se proporciona una salida dando las coordenadas en las paredes y el género.

El sensor de visión, normalmente una cámara, se coloca junto a la caja para cubrir todas las paredes. Como alternativa, se pueden utilizar varias cámaras.

Una vez que se clasifica un mosquito hembra, un haz de láser destruye al mosquito en las coordenadas del mosquito hembra, o alternativamente, se lleva un tubo de succión a las coordenadas para succionar el mosquito hembra a través de la red. La succión en ese caso sería mayor que en la realización anterior donde las dianas son los adultos que emergen de la etapa de pupa. Una velocidad normal puede estar en el intervalo de 20 m/s para poder superar los esfuerzos del mosquito por aferrarse a las paredes de la caja. En otra realización, el eliminador de la unidad de succión puede colocarse dentro de la caja.

Con referencia ahora a las figuras 10 y 11, los mosquitos 100 están en recintos 102 que se enfrían a unos 8 grados. Los mosquitos aparecen aferrados a la pared de la caja después de que se baja la temperatura. Las características distintivas de género se pueden ver fácilmente y los mosquitos se pueden clasificar. La figura 12 muestra a los mosquitos macho y hembra uno al lado del otro y muestra las diferencias visuales entre los dos. Específicamente, en el macho la antena es tupida, el palpo maxilar es más largo y la probóscide también es más larga. En la hembra, la antena es lisa y el palpo maxilar y la probóscide son más cortos.

Lo siguiente se refiere a un método de detección automática y clasificación de mosquitos como machos y hembras, y se describe en el caso de la emergencia de una pupa, pero también se aplica a la obtención de imágenes en condiciones frías.

Para una versión semiautomática, el sistema puede señalar a un operador sobre su hallazgo para que tome una decisión.

Además de una clasificación, el sistema puede proporcionar las coordenadas del mosquito clasificado al controlador robótico para que funcione de acuerdo con cualquiera de las opciones mencionadas en el presente documento, tal como guiar un tubo de succión y succionar el mosquito para transferirlo a un cartucho, destruirlo con haz de láser, etc. El concepto es principalmente para mosquitos, pero puede aplicarse a otras solicitudes en las que está implicada la cría de insectos, se requiera clasificación por sexos y haya patrones visibles distinguidos que puedan ser la diana de los algoritmos de visión por ordenador de una manera similar a los métodos sugeridos en la presente solicitud. A continuación se describen las presentes realizaciones con referencia a la versión en la que están emergiendo los mosquitos, pero se aplican los mismos detalles, con los cambios que sean necesarios, para bajar la temperatura. Se aplica el mismo algoritmo y método para detectar y clasificar en condiciones frías, pero hay diferencias. En condiciones frías [1] No hay proceso de emergencia que deba ser capturado, [2] no hay priorización, ya que no hay emergencia, [3] el fondo tiene menos interferencias visuales (el caparazón de la pupa, la superficie del agua), que mejora el rendimiento general (velocidad para alcanzar un resultado positivo).

Cuando la orientación del mosquito es como en la figura 12, esas características se notan fácilmente siempre que haya una línea de visión entre el mosquito y un sensor de visión directa ubicado arriba.

Como se sugiere, lograr esto puede ser cuando la temperatura es baja, los mosquitos se pegan a las paredes o, durante el proceso de emergencia.

El proceso de emergencia toma unos minutos (alrededor de 3 a 5 minutos con posibles excepciones) hasta que el mosquito emerge de su pupa y entonces puede continuar de pie en el agua. Es decir, el mosquito emergente puede caminar un poco, pero normalmente no mucho. Generalmente, el mosquito emergente permanece quieto durante unos pocos minutos más para endurecer y secar su exoesqueleto. Durante todo ese tiempo, como casi no se mueve, su orientación es la misma con referencia a un sistema de visión que lo observa desde arriba.

Las figuras 13 y 14 son imágenes reales de insectos que emergen de sus pupas en una bandeja llena de pupas. La figura 13 muestra un macho y la figura 14 muestra una hembra.

Las salidas son las coordenadas de los mosquitos clasificados, proporcionadas por el operador o un controlador robótico.

El sistema puede comprender una bandeja de pupas. Como en la segunda realización descrita anteriormente, hay una unidad de enfriamiento para enfriar hasta 6 a 12 grados centígrados, y también se puede proporcionar una superficie para los mosquitos atenuados.

Un sistema de visión tal como una cámara, una unidad de control y un programa informático, pueden adquirir una secuencia de fotogramas continuos del mosquito con el fin de detectar, clasificar y/o rastrear su posición.

Dado que el mosquito se puede orientar de diferentes maneras, con algo de interferencias visuales de fondo, las realizaciones pueden utilizar un enfoque de aprendizaje profundo basado en redes neuronales convolucionales para detectar y clasificar el sexo del mosquito.

En otra realización, el procesamiento previo de la imagen puede llevarse a cabo utilizando métodos de procesamiento de imágenes clásicos, tales como obtención de contornos, etc. A continuación, se proporciona el aprendizaje profundo con los resultados procesados.

El módulo de visión puede procesar cada uno de una pluralidad de fotogramas tomados por separado e independientemente. Alternativamente, los fotogramas siguientes se pueden utilizar juntos para hacer disponible una forma secuencial del problema y tratar la entrada como un vídeo. Sin embargo, generalmente se cree que para el procesamiento de vídeo, ajustando un solo módulo de procesamiento de imágenes en una arquitectura de RNN puede obtener mejores resultados.

Las presentes realizaciones pueden contener una o dos cámaras encima de la bandeja de pupas en cuya bandeja se espera que los adultos estén a punto de emerger en cualquier momento. También se puede proporcionar un brazo robótico con un láser, o cualquier otro eliminador que pueda funcionar en las coordenadas dadas del mosquito de acuerdo con un conjunto de algoritmos.

El conjunto de algoritmos puede encontrar dónde, en la imagen y en el mundo físico, hay una emergencia de un mosquito de una pupa y después puede rastrear su ubicación con el tiempo.

Una cámara de alta resolución puede buscar las características del mosquito que identifican particularmente el género, tal como el área de la antena. Además, es posible que se requiera una cámara de baja resolución para realizar el seguimiento. Como alternativa, una sola cámara puede proporcionar tanto detección y clasificación como seguimiento, si el área de seguimiento está cubierta dentro del campo de visión (FOV, del inglés 'field of view') de la cámara. Las entradas para la obtención de imágenes y la ubicación son: una secuencia continua de imágenes de una proyección superior de una bandeja con mosquitos y pupas en el agua dentro de la bandeja.

Un requisito puede ser:

"Encontrar las coordenadas en el entorno real de todos los mosquitos hembra en la bandeja capturada en un momento dado".

En ese caso, el objeto se clasificará como hembra u "otro" (macho o pupa u otra interferencia visual). Esto puede ser útil para el control de calidad o cuando solo es necesario extraer las hembras. Es posible utilizar el desglose del algoritmo a continuación y definir un propósito diferente: "Encontrar las coordenadas en el entorno real de todos los mosquitos macho en la bandeja capturada en cualquier momento dado", o además "encontrar las coordenadas en el entorno real de todos los mosquitos macho y los mosquitos hembra en la bandeja capturada en cualquier momento dado".

Para ese fin, se pueden utilizar las siguientes características:

1) Calibración de la cámara (una vez para la configuración del sistema y según sea necesario durante el mantenimiento, etc.)

2) Detección de ROI (región de interés, del inglés 'region of interest') de cada mosquito.

3) Clasificación del género de cada mosquito

4) Priorizar los mosquitos

5) Seguimiento de cada mosquito hembra clasificado

6) Transformación del sistema de coordenadas de píxeles en un sistema de coordenadas en el entorno real Ahora se hace referencia a la figura 15, que es un diagrama de bloques que describe el flujo de imágenes y ubicación, con el supuesto de que se utilicen dos cámaras; una para la detección y clasificación (también conocida como cámara de alta resolución) y la otra con un FOV más grande para el seguimiento (también conocida como cámara de baja resolución).

En el recuadro 110 se obtiene un fotograma de alta resolución. En el recuadro 112, se lleva a cabo la detección y clasificación. En el recuadro 114, las coordenadas se toman y transforman para los fotogramas de referencia de la cámara y el robot. En el recuadro 116 se obtiene un fotograma de baja resolución, y en el recuadro 118 se lleva a cabo el seguimiento para actualizar las coordenadas.

La distribución se puede duplicar para que coincida con una distribución con más bandejas o cámaras. El seguimiento puede ser mutuo para algunas cámaras que miran cada una a una parte de una bandeja.

Tras la configuración del sistema, hay un procedimiento de calibración de la cámara para permitir encontrar la transformación entre el sistema de coordenadas del píxel y el sistema de coordenadas físico.

Si el sistema consiste en dos cámaras, por ejemplo, de alta y baja resolución, como se sugirió anteriormente, entonces se puede derivar una calibración entre cada cámara a partir de los parámetros de calibración de cada cámara. Se conoce la calibración de la cámara utilizando un tablero de verificación u otros patrones, y dichos métodos conocidos se proporcionan como ejemplo:

"A Flexible New Technique for Camera Calibration", Zhengyou Zhang, 1998, Microsoft (www(punto)microsoft(punto)com/en-us/research/publication/a-flexible-new-technique-for-camera-calibration/). "A Four-step Camera Calibration Procedure with Implicit Image Correction", Janne Heikkila y Olli Silven, University of Oulu, Finlandia.

La implementación del algoritmo es de conocimiento habitual y el código de muestra está disponible públicamente. En la calibración de la cámara hay un modelo que se divide en parámetros extrínsecos (orientación y ubicación) e intrínsecos (principalmente ópticos). Tener todos estos parámetros permite una transformación entre el sistema de coordenadas de imágenes y el sistema de coordenadas en el entorno real.

La calibración se realiza mediante la captura de varias imágenes en varias orientaciones de un tablero de verificación u otro patrón fácil de detectar. Mediante los correspondientes puntos de detección o marcadores en cada una de las imágenes, se puede convertir un proceso de optimización a los parámetros correctos del modelo de cámara.

Una vez que se tienen los parámetros de transformación (parámetros intrínsecos y extrínsecos) se puede trasladar la ubicación del mosquito a una ubicación física para que funcione el sistema mecánico.

Dado que las cámaras son mecánicamente estables, el proceso de calibración se realiza una vez (o por razones de mantenimiento cada dos meses/años).

Con dos cámaras, y teniendo los parámetros de transformación para cada cámara, se calcula la transformación entre los sistemas de coordenadas de píxeles de las dos cámaras. A continuación, se pueden utilizar las coordenadas de la cámara de alta resolución y transformarlas en la cámara de baja resolución para el algoritmo de seguimiento y, después, generarlas para el eliminador mecánico o para señalar a un operador humano dónde se encuentra el mosquito clasificado.

La precisión de la calibración es un parámetro del sistema que se utiliza para el algoritmo de seguimiento y para el cañón mecánico.

La detección (la tarea de encontrar dónde están los mosquitos en la imagen) y la clasificación (la tarea de determinar de qué género es) pueden resolverse conjuntamente mediante cualquiera de los siguientes algoritmos como ejemplos: Detector de caja múltiple de disparo único (https://arxiv(punto)org/abs/1512.02325 Autores: Wei Liu1, Dragomir Anguelov2, Dumitru Erhan3, Christian Szegedy3, Scott Reed4, Cheng-Yang Fu1, Alexander C. Berg1, UNC Chapel Hill 2Zoox Inc. 3Google Inc. 4University of Michigan, Ann-Arbor).

Rcnn más rápido: www(punto)arxiv(punto)org/abs/1506.01497 ("Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", autores: Shaoqing Ren, Kaiming He, Ross Girshick y Jian Sun). Yolo: www (punto)pjreddie(punto)com/media/files/papers/yolo(punto)pdf.

Este tipo de algoritmos pueden entrenar una red que es una combinación de una RPN (red de propuesta de región, del inglés 'region proposal network') y una red de clasificación que comparte las mismas características convolucionales. La RPN propone varios cuadros delimitadores que contienen un objeto con alta probabilidad y de esta manera le dice a la red de clasificación dónde buscar en la imagen. La red de clasificación puede entrenarse para determinar a qué clase pertenece el objeto.

En la presente realización, en relación con la detección y clasificación de mosquitos, se pueden definir las posibles clases como macho/hembra/ninguno o solo como hembra/ninguno o solo como macho/ninguno. Para entrenar la red se puede recopilar una gran cantidad de imágenes marcadas que contienen mosquitos macho y hembra.

Para entrenar solo para una clase, hembra, por ejemplo, se pueden proporcionar a la red imágenes de machos o imágenes de fondo para la clase no hembra. De esta manera, la red puede entrenarse para buscar los atributos relevantes de las hembras y no los atributos generales de los mosquitos que son comunes a machos y hembras. Las imágenes de fondo pueden ser agua vacía o pupas o mosquitos cuyo género aún no se puede determinar. La red de clasificación en cada uno de estos algoritmos puede cambiarse y se puede utilizar el aprendizaje por transferencia como ajuste fino o como vector de características, que se puede hacer utilizando redes tales como Alexnet, VGG e Inception.

El aprendizaje por transferencia se describe en esos ejemplos: "ImageNet Classification with Deep Convolutional Neural Networks", Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton (www(punto)papers(punto)nips(punto)cc/paper/4824-imagenet-classification-with-deep-convolutional-neuralnetworks(punto)pdf).

"VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION" Karen Simonyan y Andrew Zisserman (www(punto)arxiv(punto)org/pdf/1409.1556v6(punto)pdf).

El resultado de la detección y clasificación de una sola imagen es una lista de rectángulos (ROI) y las probabilidades correspondientes de si cada uno de ellos es un mosquito hembra o una probabilidad general de que el objeto pertenezca a cada una de las clases. Esta salida es una lista de vectores

(X_i,YJ,W J,HJ,[PJ_1,...PJ_n]) donde: I es el índice de la ROI detectada y n es el número de clases:

(X_i, Y_i) = son coordenadas en la imagen de donde está la ROI detectada

(W_i, H_i) = son el ancho y alto de la ROI detectada, y

(P_i_1, P_i_2,.P_i_n) es la lista de probabilidades del objeto en la ROI de pertenecer a cada una de las clases. A continuación, se hace referencia a la figura 16, que muestra una bandeja de pupas y adultos emergentes. Se muestran los resultados de un algoritmo de detección y clasificación para dos clases y 5 insectos detectados. Cabe señalar que a cada clase se le asigna una probabilidad.

Una posible configuración de red puede ser una RNN (red neuronal recurrente) que es una red que almacena el estado y clasifica de manera diferente de acuerdo con su estado actual.

La arquitectura que se propone trabaja sobre una sola imagen. Se sabe que en el procesamiento de vídeo existe la ventaja de utilizar la arquitectura RNN. De esta forma, la continuidad de las imágenes tomadas antes de que el mosquito aparezca por completo afecta la probabilidad de que sea macho o hembra. El conocimiento adicional acumulado de cada fotograma aumenta la probabilidad de clasificación positiva.

Métodos relevantes:

www(punto)cv-foundation(punto)org/openaccess/content_cvpr_2015/papers/Ng_Beyond_Short_Snippets_2015_C VPR_paper(punto)pdf. www(punto)static(punto)googleusercontent(punto)com/media/research.google(punto)com/en//pubs/archive/42455(pu nto)pdf.

Una implementación adicional también utiliza fotogramas anteriores para procesar un fotograma actual y, por lo tanto, se incluye en el apartado de utilizar vídeo como entrada.

En esta implementación, ya que la cámara es estable y las pupas apenas se mueven, sólo las áreas de emergencia cambian sobre los fotogramas adyacentes. Por lo tanto, se puede detectar el momento de emergencia que se utilizará para la priorización, como se analizará con mayor detalle a continuación. Este conocimiento se puede utilizar mediante la adición de un término a la función de pérdida de la RPN que describe un Delta entre fotogramas sucesivos de la imagen, de ahí la medida L2 de imágenes o de espacio de características. En otras palabras, la realización castiga los resultados de detección donde hay poca variación e incentiva la RPN para los resultados de detección donde hay una gran variación.

Durante la fase de emergencia surge un momento en el que el mosquito deja de cambiar de forma, punto que puede confirmarse frente a un tiempo promedio o máximo desde el inicio hasta el final de la emergencia, o desde el momento en que las seis patas de los mosquitos están fuera de la pupa.

Un método es determinar el momento en que la ROI de la imagen comienza a cambiar más rápidamente, por ejemplo, utilizando un umbral en los Deltas L2 de la imagen adyacente. El enfoque es factible ya que las imágenes de las pupas antes de que comience el proceso de emergencia son estables, las pupas mayores que alcanzan la etapa de emergencia apenas se mueven en el agua. Las bandejas de pupas ya pueden estar clasificadas y marcadas de acuerdo con la fecha de pupación (transformación de larva a pupa).

Un segundo método es entrenar a la red de clasificación para clasificar entre más de dos clases, es decir, macho y hembra, y en su lugar utilizar cuatro o más clases: macho joven, macho adulto, hembra joven y hembra adulta. Las clases de machos o hembras jóvenes se definen como aquellos mosquitos cuyas patas aún no se ven completamente y los machos o hembras adultos son aquellos mosquitos cuyo cuerpo está completamente expuesto. Con este método, el número de clases se puede ampliar a más de cuatro para distinguir mejor los diferentes niveles de emergencia. El sistema puede almacenar en la memoria todos los casos de mosquitos emergidos y su desarrollo cronológico (de acuerdo con la regla anterior), y después proporcionar el siguiente mosquito para ser manejado de acuerdo con una cola FIFO (primero en emerger, primero en ser manejado).

El proceso de entrenamiento de las redes neuronales es un proceso que puede llevarse a cabo una vez utilizando una gran base de datos marcada. Hay muchos factores que inciden en un buen entrenamiento: selección de funciones de activación, selección del modelo de optimización, cómo inicializar los pesos de la red, determinación de hiperparámetros, abandono, aumento de datos y muchos más.

El resultado de un buen proceso de entrenamiento es un conjunto de valores finales de los pesos de las redes neuronales, que después se puede utilizar para clasificar las imágenes.

El uso de una red entrenada en la base de datos de entrenamiento puede dar el tiempo desde el inicio de la emergencia que se requiere para llegar a una clasificación exitosa.

Por ejemplo, el número medio de fotogramas (dada una frecuencia de fotogramas constante) desde el inicio de la aparición hasta que se puede conocer la clasificación de género con una probabilidad del 90 % es de 250 fotogramas (a una frecuencia de 2 fotogramas por segundo). Esta información, que pueden recopilarse durante el proceso de entrenamiento, puede servir después al sistema robótico para saber cuánto tiempo queda para operar en el mosquito clasificado.

La figura 17 es una imagen inicial normal en la que se ven muchas pupas y es necesario buscar una región de interés. La figura 18 muestra una región de interés que se ha encontrado en la figura 17 y contiene un mosquito adulto que necesita clasificación.

El seguimiento se puede realizar utilizando una cámara de menor resolución, si se proporciona.

Una vez emergido por completo, un mosquito puede desplazarse en la superficie y se sugiere el seguimiento para proporcionar las coordenadas correctas para el operador/herramienta de manipulación robótica.

Los algoritmos de seguimiento aprovechan la información de un modelo de movimiento que contiene velocidades y aceleraciones habituales, para penalizar/incentivar posibles ubicaciones de la diana en el siguiente fotograma. Utilizando el seguimiento, se puede compensar la oclusión parcial o el error en la detección de la diana.

Los parámetros de seguimiento para el algoritmo de seguimiento pueden incluir:

Velocidad media/máxima de los mosquitos;

Aceleración media/máxima de los mosquitos;

Duración media/máxima del movimiento;

Velocidad angular del movimiento;

Aceleración angular del movimiento;

Parámetros de la cámara, tales como la distancia focal, distancia de la cámara a la bandeja, orientación de la cámara) para traducir todas las unidades espaciales a unidades de píxeles; y

Tiempo de exposición de la cámara para evitar el desenfoque de un objeto en movimiento.

Un algoritmo de seguimiento existente que se puede utilizar es un algoritmo de seguimiento basado en un filtro de Kalman.

La figura 19 muestra un insecto 117 y un rastro 119 que ha seguido el insecto 117.

Una bandeja de pupas tal como en las figuras 17 a 19, contiene pupas y agua. Un sensor de visión puede capturar fotogramas de la bandeja y un algoritmo de aprendizaje profundo utiliza el fotograma para detectar y clasificar un mosquito emergente. A continuación, el algoritmo de seguimiento rastrea al mosquito si se mueve. Entonces, opcionalmente, las coordenadas pueden enviarse a un operador en el proceso semiautomático, o las coordenadas rastreadas pueden enviarse a un sistema robótico para llevar a cabo la succión del mosquito o destruir al mosquito con un haz de láser u otros medios.

Una realización alternativa puede funcionar con insectos a medida que se calientan y se vuelven activos lentamente. La realización puede implicar el enfriamiento del aire donde se almacenan los mosquitos a una temperatura de 6 a 12 grados, para que los mosquitos estén descansando, casi sin movimiento, pero sin caer al suelo. Como alternativa, la temperatura puede ajustarse a menos de 6 grados, para que los mosquitos estén inmóviles en el suelo.

A continuación, el sensor de visión funciona en la caja o placa con los mosquitos fríos e inmóviles. Como en la realización anterior, un algoritmo de visión que puede basarse en el aprendizaje profundo puede detectar y clasificar los mosquitos. Si la temperatura es superior a seis grados, entonces es posible que sea necesario realizar un seguimiento, ya que los mosquitos se mueven un poco. A temperaturas por debajo de los seis grados no hay movimiento y no se necesita seguimiento.

Si se entrena solo a una clase (hembras, por ejemplo), se puede proporcionar a la red imágenes de machos o imágenes de fondo a la clase no hembra. De esta manera, la red puede entrenarse para buscar los atributos relevantes de las hembras y no los atributos generales de los mosquitos que son comunes a machos y hembras. Esto puede crear una red más eficaz.

Una realización puede ejecutar dos redes en paralelo en los mismos fotogramas: una que clasifica solo hembras y una segunda que clasifica solo machos.

Como se ha mencionado anteriormente, en lugar de trabajar en fotogramas individuales, el uso de vídeo puede tener una ventaja.

Si se utiliza vídeo, entonces una posible configuración de red es RNN (red neuronal recurrente), que es una red que almacena un estado y clasifica de manera diferente de acuerdo con su estado actual. La continuidad de las imágenes tomadas antes de que el mosquito aparezca por completo afecta la probabilidad de que sea macho o hembra. El conocimiento adicional acumulado de cada fotograma aumenta la probabilidad de clasificación positiva.

El sistema puede identificar, que es detectar el mosquito emergente y dónde se encuentra en el proceso de emergencia, es decir, el sistema puede identificar el momento en el que un mosquito emerge completamente por primera vez. Las métricas que se pueden utilizar incluyen el tiempo promedio desde el inicio de la emergencia. Alternativamente, se puede utilizar la clasificación visual de partes del proceso de emergencia. Los resultados se utilizan para introducir el mosquito emergente actual en una cola para el sistema robótico, que después el sistema robótico puede tratar en orden.

Para aumentar en escala el proceso de detección y clasificación a grandes cantidades, un sistema automatizado puede alimentar continuamente el sistema de visión con mosquitos, sin embargo, los mosquitos deben estar en un estado en el que puedan verse claramente. Por lo tanto, los mosquitos deben estar separados entre sí o, al menos, no uno encima de otro, para que el sistema de visión pueda identificar las características de género únicas de los mosquitos individuales y proporcionar una respuesta sobre si el objeto es un mosquito y después si es un mosquito macho o hembra.

Sin embargo, para aumentar el rendimiento del sistema, una gran cantidad de mosquitos pueden atravesar el sistema de visión por unidad de tiempo.

Sin embargo, si se toma un compartimento de almacenamiento con una gran cantidad de mosquitos y simplemente baja la temperatura hasta que los mosquitos caen inmóviles, entonces simplemente se forman montones de individuos indistinguibles. La figura 20 muestra una placa de mosquitos tigre asiáticos, donde la temperatura se reduce por debajo de los 8 grados centígrados y los mosquitos han formado pilas en las que no se pueden clasificar los individuos. Aquí se nota fácilmente una situación en la que para el área central 122, donde los mosquitos no están unos encima de otros, es fácil identificar los mosquitos, y también su sexo, sin embargo, en los bordes, ejemplificado por 120, se ven montones de mosquitos para los que no es posible identificar los mosquitos individuales y su sexo.

A continuación, se proporcionan dos realizaciones para una alimentación continua de mosquitos sin apilar unos encima de otros.

Una primera realización comprende:

a. Un sistema de enfriamiento;

b. Compartimentos de almacenamiento de mosquitos;

c. Mecanismo de transporte para hacer avanzar a los mosquitos;

d. Sistema de visión con controlador. El controlador puede estar conectado al transportador para que se pare cuando sea necesario y para proporcionar coordenadas;

e. Recogida y colocación del robot para succionar o soplar. Por ejemplo, puede incluir una pipeta de succión habitual o una bomba de aire eléctrica o un soplador que se puede utilizar para soplar o al revés como dispositivo de succión. El robot puede inhalar mosquitos macho o hembra. Alternativamente, un eliminador tal como un haz de láser puede perforar o extraer mosquitos hembra de cualquier otra forma que los destruya.

En la realización, la temperatura se reduce para que los mosquitos caigan al suelo de abajo. Sin embargo, el suelo se mueve, ya que el suelo es un transportador en movimiento y, por lo tanto, no se acumulan.

La figura 21 ilustra mosquitos que se dejan caer desde el recipiente 130 sobre un transportador 132 en movimiento, donde se utiliza el movimiento del transportador para asegurar que los mosquitos se esparzan y no se amontonen. En el lado derecho hay un sensor 134 para identificar los mosquitos desde arriba.

Una variación es enfriar los mosquitos para que caigan en una pila y después abrir una trampilla debajo de un transportador en movimiento. Esto se muestra en las figuras 22 y 23. La figura 22 muestra la cinta 140 sin mosquitos y la figura 23 muestra la cinta con mosquitos cayendo después de que se haya abierto la trampilla 142.

En la figura 23, las trampillas de almacenamiento se abren y los mosquitos caen mientras el transportador se está moviendo y, como se ve, los mosquitos se separan en el transportador.

En el diagrama de flujo de la figura 24 se muestra un procedimiento.

a. Los compartimentos de almacenamiento de mosquitos se mantienen a baja temperatura como se mencionó anteriormente - 150.

b. Los mosquitos dentro de los compartimentos de almacenamiento ahora están atenuados 152.

c. A continuación, los mosquitos pueden transferirse al transportador - 154, vertiéndolos directamente sobre el transportador. La transferencia se puede realizar mientras el transportador está en movimiento para asegurar la separación. La transferencia ocurre al verter los mosquitos directamente del almacenamiento o utilizando otro artículo para transferirlos del almacenamiento al transportador. Por ejemplo, un tubo de succión puede succionar los mosquitos del suelo del almacenamiento a la superficie del transportador.

d. Una vez que la mayor parte o todo el contenido de un compartimento de almacenamiento se transfiere al transportador, otro compartimento de almacenamiento (o conjunto de compartimentos, para trabajar en paralelo) 155 se coloca cerca del transportador para repetir el proceso.

2. El transportador puede mover a los mosquitos en condiciones frías como se mencionó anteriormente hacia un punto de manipulación robótica. En realizaciones, se pueden utilizar dos transportadores. En tal caso, el primer transportador puede haber sido utilizado para separar a los mosquitos, y al final del primer transportador los mosquitos pueden caer sobre el transportador principal que lleva a los mosquitos a la estación robótica de inspección y clasificación. En dicho ejemplo, los dos transportadores diferentes también pueden moverse a diferentes velocidades. Una velocidad más elevada puede ser útil para separar a los mosquitos, que después caen sobre el transportador secundario, para moverse lentamente hacia la estación robótica.

3. En un punto de inspección, una cámara superior detecta y clasifica 158 a los mosquitos de acuerdo con el sexo como se explicó anteriormente. El controlador del transportador puede ordenar al transportador que deje de moverse 156 durante un período corto, por ejemplo, unos segundos, hasta que el algoritmo del sistema de visión complete el proceso de detección y clasificación de los objetos en el campo de visión. El transportador se mueve nuevamente, y una vez que el campo de visión está nuevamente lleno de mosquitos aún sin clasificar, el transportador se para de nuevo. Como alternativa, el proceso de detección y clasificación puede tener lugar en la misma posición en la que se encuentra el robot recolector, como se describirá a continuación. En esta alternativa, el transportador se para, el robot recolector recoge los mosquitos clasificados y, a continuación, el transportador se mueve nuevamente una distancia definida previamente para permitir que otro conjunto de mosquitos se ubique debajo tanto de la visión como del área de alcance del robot recolector.

4. La recepción de las coordenadas y el seguimiento de los mosquitos se puede realizar mediante una o dos cámaras.

5. Un robot recolector, por ejemplo, un robot Delta de recogida y colocación, recibe las coordenadas de los mosquitos recogidos 160. La recogida puede ser la siguiente:

a. El robot recolector tiene una fuente de succión;

b. La fuente de succión succiona los mosquitos que se acercan desde el transportador;

i. ya sea en un tubo de succión temporal, que después se expulsan a una unidad o cartucho de almacenamiento de liberación cuando están llenos, que es cuando reciben un número definido previamente de mosquitos succionados;

ii. O después de cada succión, el mosquito se expulsa directamente a una unidad de almacenamiento de liberación que se encuentra cerca del robot de succión, preferentemente también en condiciones de frío.

c. El robot puede contar 162 el número de mosquitos succionados y expulsados en cajas de liberación; d. Una vez que la unidad de almacenamiento de liberación ha alcanzado un determinado número de mosquitos, la caja de almacenamiento de liberación se cambia por una nueva 164. El cambio puede ser manual o automático.

Una segunda forma de realización comprende

a. Un sistema de enfriamiento; y

b. Compartimentos de almacenamiento de mosquitos que tienen paredes a las que los mosquitos pueden aferrarse. Los compartimentos de almacenamiento pueden desmontarse o desplegarse, para que en lugar de una caja, después de separar las paredes entre sí, el resultado sea un conjunto de paneles a los que se aferran los mosquitos. Las paredes pueden comprender redes de aluminio con pequeños agujeros.

Los mosquitos pueden así presentarse descansando sobre redes sin volar, y sin estar uno encima del otro. c. Un transportador o sistema de rieles puede mover los paneles con mosquitos hacia adelante;

d. Sistema de visión con controlador como se analizó anteriormente.

El controlador puede estar conectado al transportador para parar el transportador cuando sea necesario para proporcionar al robot de recogida y colocación como se analizó anteriormente con las coordenadas necesarias; e. El robot de recogida y colocación como se analizó anteriormente

El procedimiento se analiza ahora con referencia a la figura 25, que es un diagrama de flujo que ilustra la presente realización.

Inicialmente, la temperatura se baja 170 utilizando el sistema de enfriamiento para que los mosquitos no vuelen en el compartimiento de almacenamiento y tampoco caigan sobre el suelo del almacenamiento. Dicha temperatura para el mosquito tigre asiático, por ejemplo, suele ser inferior a 13 grados centígrados sin volar, pero superior a 4 grados centígrados, lo que permite que los insectos se aferren a las paredes - 172. Una temperatura preferida es superior a 8 grados centígrados.

Las paredes de la caja sobre las que descansan los mosquitos se sacan 174 y se unen al transportador en movimiento o al sistema de rieles.

Las paredes de la caja cuando se colocan sobre el elemento en movimiento (transportador o riel), están orientados de manera que los mosquitos se apoyen en la parte superior que anteriormente era la parte interna del compartimento de almacenamiento, y el sistema de visión y también la unidad robótica de recogida y colocación pueden tener acceso directo a los mosquitos.

El transportador puede propagar las paredes hacia adelante, y con ellas, los mosquitos, en condiciones frías como se mencionó anteriormente, se mueven hacia el punto de manipulación robótica.

En el punto de manipulación robótica, una cámara superior detecta y clasifica el sexo de los mosquitos - 178, como se analiza anteriormente en el presente documento. Es posible que sea necesario realizar un seguimiento ya que la temperatura es lo suficientemente elevada como para permitir que los mosquitos caminen por las paredes. El controlador del transportador puede ordenar al transportador que deje de moverse por un período corto 176, por ejemplo, unos segundos, hasta que el algoritmo del sistema de visión haya completado el proceso de detección y clasificación de los objetos en el campo de visión. Posteriormente, el transportador puede volver a moverse, y una vez que el campo de visión está nuevamente lleno de mosquitos sin clasificar, el transportador puede pararse nuevamente. Como alternativa, el proceso de detección y clasificación puede tener lugar en la posición donde se encuentra el robot recolector y, por lo tanto, el transportador puede esperar a que el robot recolector recoja los mosquitos de la clase apropiada 180 y después se mueva una distancia definida previamente para habilitar otro conjunto de mosquitos que se ubicarán debajo tanto de la visión como del área de alcance del robot recolector.

Las diversas realizaciones para la recogida de mosquitos son las mismas que en las realizaciones anteriores y no se repiten.

Si los mosquitos ya están clasificados de modo que solo haya un sexo dentro de las cajas, entonces las realizaciones pueden cargar las cajas de liberación con un número determinado previamente de mosquitos. En tal caso, el sistema de visión solo necesitará detectar y clasificar una única clase de mosquito, sin la necesidad de clasificarlo más como macho o hembra. A continuación, el robot puede recoger y colocar a los mosquitos utilizando succión en las cajas de liberación como se describió anteriormente.

En realizaciones, si el sistema de visión no puede clasificar al mosquito como hembra o macho, puede enviar la imagen a un operador, quién puede realizar la clasificación. Otras realizaciones pueden eliminar a los mosquitos no identificados junto con las hembras.

Las figuras 26 y 27 muestran un esquema y un ejemplo de un robot Delta 200 de recogida y colocación integrado en una línea de clasificación automatizada 202 con transportadores 204 y 206, y una cámara 208. La cámara puede estar conectada a otros componentes 210 de un sistema de visión.

En la presente realización, el robot Delta 200 tiene una unidad de succión y, a continuación, succiona los mosquitos que están directamente en la cinta y los sopla en cajas de liberación para llenar las cajas, o el robot puede succionar los mosquitos de las redes en las que están parados los mosquitos, según algunas de las realizaciones anteriores.

A continuación, se hace referencia a la figura 28, que es un diagrama simplificado que muestra una realización en la que las hembras se identifican y eliminan y los machos se recogen. Se proporciona un recipiente con agua y pupas 280, junto con una cámara 282 para obtener imágenes de adultos emergentes para su clasificación y un láser 284 para eliminar las hembras. El flujo de aire del ventilador 286 impulsa a los adultos supervivientes a través del conducto 288 pasando por la cámara 290 u otro sensor que cuenta los mosquitos que pasan. El recipiente 292 recoge los mosquitos y se cambia por un nuevo recipiente 294 cuando el recuento determina que está lleno.

A continuación, se hace referencia a la figura 29, que es un diagrama simplificado de una realización que difiere de la versión de la figura 28. Aquí los machos se identifican y succionan de manera activa. Las piezas que son iguales a las de la realización anterior reciben los mismos números de referencia y no se describen de nuevo excepto cuando sea necesario para comprender la presente realización. Se proporciona un recipiente con agua y pupas 280, junto con una cámara 282 para obtener imágenes de adultos emergentes para su clasificación. Se proporciona un tubo de succión 296 en el extremo de un brazo robótico 298 para succionar de manera activa los machos a través del conducto 288. El recipiente 292 recoge los mosquitos y se cambia por un nuevo recipiente 294 cuando está lleno.

A continuación, se hace referencia a la figura 30, que es un diagrama simplificado de una realización que difiere de la versión de la figura 28. Aquí los machos se dejan volar para recogerlos, mientras que las hembras se succionan de manera activa en un recipiente separado. Las piezas que son iguales a las de la realización anterior reciben los mismos números de referencia y no se describen de nuevo excepto cuando sea necesario para comprender la presente realización. Se proporciona un recipiente con agua y pupas 280, junto con una cámara 282 para obtener imágenes de adultos emergentes para su clasificación. Se proporciona un tubo de succión 296 en el extremo de un brazo robótico 298 para succionar de manera activa a las hembras al recipiente 300. Los machos vuelan y entran en la corriente de aire impulsada por el ventilador 286 para pasar a través del conducto 288 pasando la cámara 290 u otro sensor que cuenta los mosquitos que pasan. El recipiente 292 recoge los mosquitos y se cambia por un nuevo recipiente 294 cuando el recuento determina que está lleno.

A continuación, se hace referencia a la figura 31, que es un diagrama simplificado de una realización adicional de la presente invención. Como en la figura 28, las hembras se eliminan mediante un láser y los machos se dejan volar en una corriente de aire. Las piezas que son iguales a las de la realización anterior reciben los mismos números de referencia y no se describen de nuevo excepto cuando sea necesario para comprender la presente realización. Se proporciona un recipiente con agua y pupas 280, junto con una cámara 282 para obtener imágenes de adultos emergentes para su clasificación. El láser 284 está dirigido para eliminar a las hembras. Se deja que los machos vuelen y entren en la corriente de aire impulsada por el ventilador 286 para pasar a través del conducto 288 pasando la cámara 290 u otro sensor que cuenta los mosquitos que pasan. El recipiente 292 recoge los mosquitos y se cambia por un nuevo recipiente 294 cuando el recuento determina que está lleno. El conducto 288 y los recipientes se enfrían de manera activa para reducir la velocidad de los mosquitos y poder empaquetar más en un solo recipiente.

A continuación, se hace referencia a la figura 32, que es un diagrama simplificado de una realización adicional de la presente invención. En esta realización, todos los insectos emergentes vuelan lejos de la placa de pupas y se llevan a un área de selección donde se enfrían y así se inmovilizan. A continuación, los machos y las hembras se separan. Las piezas que son iguales a las de la realización anterior reciben los mismos números de referencia y no se describen de nuevo excepto cuando sea necesario para comprender la presente realización. Se proporciona un recipiente con agua y pupas 280, Todos los adultos emergentes se dejan volar y entrar en la corriente de aire impulsada por el ventilador 286 para pasar a través del conducto 288 pasando la cámara 290 u otro sensor que cuenta los mosquitos que pasan a la superficie de selección 310 que se enfría. Por encima de la superficie de selección 310 enfriada está la cámara 282 para obtener imágenes de adultos emergentes para su clasificación. Se proporciona un tubo de succión 296 en el extremo de un brazo robótico 298 para succionar de manera activa los machos a través del tubo o conducto 316 al recipiente 292. Un segundo tubo de succión 312 es operado por un segundo brazo robótico 314 para succionar las hembras al recipiente 300. El recipiente 292 recoge los mosquitos y se cambia por un nuevo recipiente 294 cuando el recuento determina que está lleno. El recuento del segundo brazo robótico 314 se puede restar del recuento en la cámara 290 para dar el número de machos que se introducen en el recipiente 292. El conducto 288 y los recipientes también se pueden enfriar de manera activa como antes.

Se apreciará que se puede utilizar cualquiera de las realizaciones anteriores para llevar a cabo la clasificación, y las hembras se pueden eliminar o dejar en su lugar mientras se retiran los machos, etc.

A continuación, se hace referencia a la figura 33, que es un diagrama simplificado que muestra cómo se puede alimentar a los insectos cuando están en los recipientes. La estación de clasificación y llenado 320 proporciona recipientes 322 llenos de mosquitos. Los recipientes llenos se transfieren para su almacenamiento y tienen orificios de alimentación o una red de alimentación en una superficie 324. El robot alimentador 326 esparce agua azucarada o similar sobre la superficie 324 para alimentar a los insectos. Se espera que durante la vigencia de una patente que madura a partir de esta solicitud, se desarrollarán muchas tecnologías relevantes de recogida, visión y aprendizaje de robots, y se pretende que los alcances de los términos correspondientes incluyan a priori todas estas nuevas tecnologías.

Las expresiones "comprende", "que comprende", "incluye", "que incluye", "que tiene" y sus conjugaciones significan "que incluye pero sin limitación".

La expresión "que consiste en" significa "que incluye y se limita a".

Como se usa en el presente documento, las formas en singular "un", "una/o", "el" y "la" incluyen referencias en plural a menos que el contexto indique claramente otra cosa. Por ejemplo, la expresión "un compuesto" o "al menos un compuesto" puede incluir una pluralidad de compuestos, incluyendo mezclas de los mismos.

Se aprecia que determinadas características de la invención, que son, por claridad, descritas en el contexto de realizaciones separadas, también pueden proporcionarse en combinación en una sola realización. En cambio, diversas características de la invención, que son, por brevedad, descritas en el contexto de una sola realización, también pueden proporcionarse por separado o en cualquier subcombinación adecuada o según sea adecuado en cualquier otra realización descrita de la invención. Determinadas características descritas en el contexto de diversas realizaciones no deben considerarse características esenciales de esas realizaciones, a menos que la realización no funcione sin esos elementos.

Aunque la invención se ha descrito junto con realizaciones específicas de la misma, es evidente que muchas alternativas, modificaciones y variaciones serán evidentes para los expertos en la materia. Por consiguiente, se pretende que abarque la totalidad de tales alternativas, modificaciones y variaciones que caen dentro del alcance de las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES

1. Método para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar, comprendiendo el método:

obtener dichos mosquitos sin clasificar;

identificar individuos en una fase estacionaria, siendo la fase estacionaria seleccionada lo suficientemente larga como para permitir la identificación;

obtener imágenes de individuos de dichos mosquitos sin clasificar en dicha fase estacionaria;

clasificar electrónicamente a dichos individuos de dichas imágenes en al menos un miembro de un grupo de clasificaciones que incluye mosquitos macho, mosquitos hembra y objetos sin clasificar;

obtener coordenadas de individuos de al menos una de dichas clasificaciones de mosquitos macho y mosquitos hembra, refiriéndose dichas coordenadas a una posición en dicha fase estacionaria;

utilizar un brazo robótico (200) para llegar a un individuo identificado por una de dichas coordenadas obtenidas mientras dicho individuo se encuentra en dicha fase estacionaria, para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexo.

2. El método de la reivindicación 1, en donde dicha clasificación comprende utilizar una red neuronal entrenada o una red neuronal recurrente (RNN).

3. El método de la reivindicación 2, en donde dicha red neuronal entrenada comprende cuatro o más capas.

4. El método de una cualquiera de las reivindicaciones anteriores, en donde dicha obtención de imágenes comprende la obtención de fotogramas sucesivos, generar diferencias entre dichos fotogramas sucesivos y utilizar dichas diferencias para determinar qué individuos se encuentran en dicha fase estacionaria.

5. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde dichos insectos sin clasificar son pupas emergentes y dicha fase estacionaria es de emergencia, o en donde dichos insectos sin clasificar son adultos y dicha fase estacionaria se obtiene mediante el enfriamiento de dichos insectos.

6. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende el seguimiento del movimiento de insectos individuales para actualizar las respectivas coordenadas obtenidas antes de utilizar dicho brazo robótico.

7. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde dichas coordenadas obtenidas son de dicha clase macho y dichos individuos identificados se recogen y se almacenan, o en donde dichas coordenadas obtenidas son de dicha clase hembra y dichos individuos identificados se destruyen.

8. El método de la reivindicación 7, en donde dicho brazo robótico comprende un dispositivo de succión o un dispositivo soplador para recoger dichos individuos identificados y almacenarlos, o en donde dicho brazo robótico comprende un eliminador para destruir dichos individuos identificados, o en donde dicho brazo robótico comprende dicho eliminador para destruir dichos individuos identificados y dicho eliminador es un miembro del grupo que consiste en un electrodo y un láser.

9. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde, si un individuo no se clasifica en macho o hembra en un tiempo predeterminado, entonces la imagen se envía a un operador, o en donde si un individuo no se clasifica como macho en un tiempo predeterminado, entonces se clasifica como hembra.

10. El método de acuerdo con la reivindicación 7, en donde dichos insectos se enfrían en un recipiente que tiene paredes, de modo que los insectos enfriados se coloquen en un lado interior de dichas paredes, comprendiendo el método desmontar dicha caja para presentar dichos lados interiores de dichas paredes para dicha obtención de dichas imágenes, o en donde dichos insectos se enfrían en un recipiente que tiene una trampilla y dicha trampilla se abre sobre un primer transportador en movimiento, para permitir que dichos insectos enfriados caigan, dicho primer transportador en movimiento lleva dichos insectos a un lugar de toma de imágenes para dicha obtención de imágenes, y dicho transportador se detiene con insectos en dicho lugar de toma de imágenes para obtener dichas coordenadas.

11. El método de acuerdo con la reivindicación 10, en donde dicho primer transportador en movimiento es un transportador en movimiento relativamente rápido, para evitar así que la acumulación de insectos interrumpa las imágenes, en donde dichas coordenadas obtenidas son de la clase hembra de modo que los insectos machos quedan retenidos en el transportador, vaciándose el primer transportador en movimiento sobre un segundo transportador en movimiento que es un transportador en movimiento relativamente lento, transportando dicho transportador en movimiento relativamente lento dichos insectos retenidos para colocarlos en cartuchos de almacenamiento.

12. Aparato para la clasificación mecánica por sexos de mosquitos mediante la extracción de una clase de mosquitos a partir de mosquitos sin clasificar, comprendiendo el aparato:

una cámara 208, 282) configurada para identificar mosquitos individuales sin clasificar en una fase estacionaria, siendo la fase estacionaria seleccionada lo suficientemente larga como para permitir la identificación, la cámara configurada además para obtener imágenes y coordenadas de dichos individuos en dicha fase estacionaria; un clasificador, configurado para clasificar electrónicamente a dichos individuos de dichas imágenes en al menos un miembro de un grupo de clasificaciones que incluye mosquitos macho, mosquitos hembra y objetos sin clasificar;

un brazo robótico (200) conectado a dicho clasificador y configurado para llegar a un individuo identificado por una de dichas coordenadas obtenidas, las coordenadas obtenidas mientras dicho individuo se encuentra en dicha fase estacionaria, para almacenar o retirar dichos individuos, para así proporcionar mosquitos clasificados por sexo.

13. El aparato de la reivindicación 12, en donde dicho clasificador comprende una red neuronal entrenada, o una red neuronal entrenada que comprende cinco o más capas, o una red neuronal recurrente (RNN).

14. El aparato de acuerdo con la reivindicación 12 o la reivindicación 13, en donde dichos insectos sin clasificar son pupas emergentes y dicha fase estacionaria es de emergencia, o en donde dicho aparato comprende además un enfriador, y dichos insectos sin clasificar son adultos y dicha fase estacionaria se obtiene mediante el enfriamiento de dichos insectos.

15. El aparato de acuerdo con una cualquiera de las reivindicaciones 12 a 14, que comprende además un rastreador configurado para rastrear el movimiento de insectos individuales para actualizar las respectivas coordenadas obtenidas antes de utilizar dicho brazo robótico.