BR112019014513B1

BR112019014513B1 - Método para categorização de mosquitos por sexo e aparelho para o mesmo

Info

Publication number: BR112019014513B1
Application number: BR112019014513-3A
Authority: BR
Inventors: Hanan Lepek; Tamir Nave; Yoram FLEISCHMANN; Rom Eisenberg; Baruch E. Karlin; Itamar TIROSH
Original assignee: Senecio Ltd
Priority date: 2017-01-22
Filing date: 2018-01-22
Publication date: 2023-12-26
Also published as: AU2018209481A1; MX2019008711A; US20200154686A1; AU2018209481B2; CN110430751A; WO2018134828A3; US20240057574A1; US11785926B2; EP3570666B1; SG11201906521UA; US20210022326A1; BR112019014513A2; AU2018209480A1; ZA201907691B; SG11201906740YA; US11950579B2; ES2875464T3; WO2018134828A2; BR112019014757A2; CN110191635A

Abstract

trata-se de método e aparelho para a categorização por sexo mecânica de mosquitos por meio da extração de uma classe de mosquitos a partir de mosquitos não categorizados por sexo que compreende obter mosquitos não categorizados por sexo, obter imagens de mosquitos individuais em uma fase estacionária, classificar eletronicamente os indivíduos a partir das imagens em mosquitos machos e/ou mosquitos fêmeas e possivelmente também objetos não classificados; obter coordenadas de indivíduos de pelo menos uma das classificações de mosquito macho e mosquito fêmea e usar um braço robótico para alcançar um indivíduo identificado pelas coordenadas obtidas para armazenar ou remover os indivíduos, para fornecer, assim, mosquitos categorizados por sexo.

Description

Campo e Antecedentes da Invenção

[001] A presente invenção, em algumas modalidades da mesma, refere-se à categorização de mosquitos por sexo e, mais particularmente, mas não exclusivamente, a um método e aparelho para fornecer mosquitos machos categorizados por sexo.

[002] Até a presente data, a SIT de mosquito (Técnica do Inseto Estéril) provou-se, em projetos de pequena escala em torno do mundo, uma ferramenta promissora e eficaz para combater doenças transmitidas por mosquitos. A ideia é liberar mosquitos machos com características exclusivas para que sua progênie não evolua ou os machos distribuídos sejam estéreis, de modo que não haja qualquer descendente.

[003] Pilotos de pequena escala, nos quais alguns milhões de mosquitos machos foram liberados em pequena área, foram realizados por diferentes instituições de pesquisa e empresas, todos demonstraram redução na população de mosquitos nessa área semanas após a implantação dos mosquitos machos geneticamente modificados em uma base semanal.

[004] A fim de tratar grandes áreas, é necessário que milhões de mosquitos sejam produzidos diariamente.

[005] Entretanto, os custos operacionais associados ao trabalho intenso envolvido no processo de criação e manuseio hoje impedem que a SIT de mosquito seja ampliada. As etapas específicas no processo de criação em referência são:

[006] 1. O procedimento de categorização por sexo. É necessário liberar apenas os machos, em vez de liberar as fêmeas, quando o objetivo-alvo é substituir a população local e criar um novo tipo de população de mosquitos. Os mosquitos precisam ser categorizados entre fêmeas e machos, e apenas os machos devem estar nas caixas de liberação enviadas para o campo para liberação.

[007] 2. O carregamento dos mosquitos nas caixas de liberação. Atualmente, o procedimento comum é colocar pupa (juntamente com água) no interior das caixas de liberação. Visto que cada caixa de liberação pode conter na ordem de 700 a 1.500 mosquitos, os trabalhadores precisam transferir a pupa de outros recipientes maiores e medir a quantidade transferida, embora a resolução para um único mosquito não seja necessária. A transferência de 1.000 pupas para uma caixa de liberação em um momento em que milhões de pupas por dia são necessárias é um trabalho altamente intenso que requer tempo e pessoal. Os custos são muito altos para operações de grande escala.

[008] Há pesquisas em andamento para otimizar o processo de categorização por sexo. Entretanto, a maioria dos sistemas, até a presente data, tentou a categorização por sexo durante o estágio de pupa (com base no peso, tamanho, cor). Outras tentativas envolveram a eliminação dos mosquitos fêmeas enquanto adultos.

[009] Um problema é que o mosquito adulto pode ser muito ativo e, assim, a partir do momento em que seu sexo tenha sido classificado até que se consiga fazer algo o mesmo pode se mover ou voar.

[010] Além disso, ter outros mosquitos no campo de vista pode obscurecer o sensor de visão. A classificação por sexo na pupa pode levar a grandes danos colaterais (significando muitos machos mortos).

Sumário da Invenção

[011] As presentes modalidades podem usar um momento em que mosquitos adultos estão imóveis, a fim de aplicar o imageamento e, então, a separação dos insetos desejados ou a eliminação dos insetos indesejados. Tal momento pode ser o período em que o isento emerge da pupa ou quando os insetos são resfriados até uma temperatura na qual permanecem imóveis. Em ambos os casos, os insetos ficam imóveis por um período de tempo longo o suficiente para serem identificados pelo processo de imageamento e, então, serem separados ou eliminados, visto que o processo de imageamento tem capacidade para orientar um braço robótico de modo a encontrar o inseto.

[012] De acordo com um aspecto de algumas modalidades da presente invenção, é fornecido um método para a categorização por sexo mecânica de mosquitos por meio da extração de uma classe de mosquitos a partir de mosquitos não categorizados por sexo, sendo que o método compreende:

[013] obter os ditos mosquitos não categorizados por sexo;

[014] obter imagens de indivíduos dos ditos mosquitos não categorizados por sexo em uma fase estacionária;

[015] classificar eletronicamente os ditos indivíduos a partir das ditas imagens em pelo menos um membro dentre um grupo de classificações que inclui mosquitos machos, mosquitos fêmeas e objetos não classificados;

[016] obter coordenadas de indivíduos de pelo menos uma das ditas classificações de mosquito macho e mosquito fêmea;

[017] usar um braço robótico para alcançar um indivíduo identificado por aquelas dentre as ditas coordenadas obtidas para armazenar ou remover os ditos indivíduos, para fornecer, assim, mosquitos categorizados por sexo.

[018] Em uma modalidade, a dita classificação compreende o uso de uma rede neural treinada.

[019] Em uma modalidade, a dita rede neural treinada compreende quatro ou mais camadas.

[020] Em uma modalidade, a dita obtenção de imagens compreende a obtenção de quadros sucessivos, a geração de diferenças entre os ditos quadros sucessivos e o uso das ditas diferenças para determinar quais indivíduos estão na dita fase estacionária.

[021] Em uma modalidade, a dita classificação compreende o uso de uma rede neural recorrente (RNN).

[022] Em uma modalidade, os ditos insetos não categorizados por sexo são pupas emergentes e a dita fase estacionária está em emergência.

[023] Em uma modalidade, os ditos insetos não categorizados por sexo são adultos e a dita fase estacionária é obtida resfriando-se os ditos insetos.

[024] O método pode compreender o rastreamento do movimento de insetos individuais para atualizar as respectivas coordenadas obtidas antes de utilizar o dito braço robótico.

[025] O método pode compreender a obtenção das ditas imagens para a classificação com o uso de uma primeira câmera de resolução relativamente alta e a realização do dito rastreamento com o uso de uma segunda câmera de resolução relativamente baixa.

[026] Em uma modalidade, as ditas coordenadas obtidas são da dita classe masculina, e os ditos indivíduos identificados são separados e colocados em armazenamento.

[027] Em uma modalidade, o dito braço robótico compreende um dispositivo de sucção ou um dispositivo soprador para separar os ditos indivíduos identificados e colocá-los em armazenamento.

[028] Em uma modalidade, as ditas coordenadas obtidas são da dita classe feminina, e os ditos indivíduos identificados são destruídos.

[029] Em uma modalidade, o dito braço robótico compreende um eliminador para destruir os ditos indivíduos identificados.

[030] Em uma modalidade, o dito eliminador é um membro do grupo que compreende um eletrodo e um laser.

[031] Em uma modalidade, se um indivíduo não for classificado em macho ou fêmea em um tempo predeterminado, então, a imagem é enviada a um operador.

[032] Em uma modalidade, se um indivíduo não for classificado como macho em um tempo predeterminado, então, o mesmo é classificado como fêmea.

[033] Em uma modalidade, os ditos insetos são resfriados em um recipiente que tem paredes, de modo que os insetos resfriados permaneçam em um lado interno das ditas paredes, sendo que o método compreende desmontar a dita caixa de modo a apresentar os ditos lados internos das ditas paredes para a dita obtenção das ditas imagens.

[034] Em uma modalidade, os ditos insetos são resfriados em um recipiente que tem um alçapão, e o dito alçapão é aberto em uma primeira transportadora em movimento para permitir que os ditos insetos resfriados caiam, sendo que a dita primeira transportadora em movimento carrega os ditos insetos para um local de imageamento para a dita obtenção de imagens, e sendo que a dita transportadora para com os insetos no dito local de imageamento para obter as ditas coordenadas.

[035] Em uma modalidade, a dita primeira transportadora em movimento é uma transportadora em movimento relativamente rápido, para impedir, assim, o empilhamento de insetos que prejudica o imageamento, sendo que as ditas coordenadas obtidas são da classe feminina de modo que os insetos machos sejam retidos na transportadora, sendo que a primeira transportadora em movimento se esvazia em uma segunda transportadora em movimento que é uma transportadora em movimento relativamente lento, sendo que a dita transportadora em movimento relativamente lento transporta os ditos insetos retidos para a colocação em cartuchos de armazenamento.

[036] De acordo com um segundo aspecto da presente invenção, é fornecido um aparelho para a categorização por sexo mecânica de mosquitos por meio da extração de uma classe de mosquitos a partir de mosquitos não categorizados por sexo, sendo que o aparelho compreende:

[037] uma fonte de mosquitos não categorizados;

[038] uma câmera configurada para encontrar mosquitos individuais em uma fase estacionária e obter imagens e coordenadas dos ditos indivíduos;

[039] um classificador configurado para classificar eletronicamente os ditos indivíduos a partir das ditas imagens em pelo menos um membro dentre um grupo de classificações que inclui mosquitos machos, mosquitos fêmeas e objetos não classificados;

[040] um braço robótico conectado ao dito classificador e configurado para alcançar um indivíduo identificado por aquelas dentre as ditas coordenadas obtidas para armazenar ou remover os ditos indivíduos, para fornecer, assim, mosquitos categorizados por sexo.

[041] A menos que seja definido de outro modo, todos os termos técnicos e/ou científicos usados no presente documento têm o mesmo significado como comumente entendido por um indivíduo de habilidade comum na técnica à qual a invenção pertence. Embora métodos e materiais semelhantes ou equivalentes àqueles descritos no presente documento possam ser usados na prática ou no teste de modalidades da invenção, métodos e/ou materiais exemplificativos são descritos abaixo. Em caso de conflito, o relatório descritivo da patente, que inclui definições, irá prevalecer. Adicionalmente, os materiais, métodos e exemplos são apenas ilustrativos e não são destinados a serem necessariamente limitadores.

[042] A implantação do imageamento e direcionamento dos braços robóticos nas modalidades da invenção pode envolver a realização ou conclusão de tarefas selecionadas manualmente, automaticamente ou uma combinação das mesmas. Além disso, de acordo com a instrumentação e o equipamento reais das modalidades do método e/ou sistema da invenção, diversas tarefas selecionadas poderiam ser implantadas por hardware, por software ou por firmware ou por uma combinação dos mesmos com o uso de um sistema operacional.

[043] Por exemplo, o hardware para realizar tarefas selecionadas de acordo com modalidades da invenção poderia ser implantado como um chip ou um circuito. Como software, as tarefas selecionadas de acordo com modalidades da invenção poderiam ser implantadas como uma pluralidade de instruções de software que são executadas por um computador com o uso de qualquer sistema operacional adequado. Em uma modalidade exemplificativa da invenção, uma ou mais tarefas de acordo com modalidades exemplificativas do método e/ou sistema conforme descrito no presente documento são realizadas por um processador de dados, tal como uma plataforma de computação para executar uma pluralidade de instruções. Opcionalmente, o processador de dados inclui uma memória volátil para armazenar instruções e/ou dados e/ou um armazenamento não volátil, por exemplo, um disco rígido magnético e/ou mídias removíveis, para armazenar instruções e/ou dados. Opcionalmente, uma conexão de rede também é fornecida. Uma tela e/ou um dispositivo de entrada de usuário, tal como teclado ou mouse, também são opcionalmente fornecidos.

BREVE DESCRIÇÃO DAS DIVERSAS VISTAS DOS DESENHOS

[044] Algumas modalidades da invenção são descritas no presente documento, apenas a título de exemplo, com referência aos desenhos e fotografias anexas. Agora, com referência específica aos desenhos em detalhes, é enfatizado que as informações mostradas são exemplificativas e têm o propósito de ilustrar a discussão de modalidades da invenção. Em relação a isso, a descrição, juntamente com os desenhos, torna evidente para aqueles que são especialistas no assunto como as modalidades da invenção podem ser praticadas.

[045] Nos desenhos:

[046] a Figura 1 é um fluxograma simplificado de uma primeira modalidade da presente invenção que usa uma fase estacionária para imagear e classificar mosquitos e, então, categorizá-los em conformidade;

[047] a Figura 2 é um diagrama simplificado que mostra uma modalidade na qual mosquitos resfriados são despejados em uma transportadora para imageamento em uma fase estacionária de acordo com a Figura 1;

[048] as Figuras 3 a 7 mostram um protótipo de aparelho para realizar o método da Figura 1;

[049] as Figuras 8 e 9 são diagramas esquemáticos simplificados que mostram dispositivos de sucção para sugar insetos em um cartucho de liberação de acordo com modalidades da presente invenção;

[050] as Figuras 10 e 11 mostram insetos resfriados em paredes da gaiola em um estado pronto para imageamento e classificação de acordo com modalidades da presente invenção;

[051] a Figura 12 é um gráfico que mostra as diferenças visuais entre mosquitos machos e fêmeas;

[052] as Figuras 13 e 14 ilustram duas imagens reais tomadas de uma bandeja de pupas com adultos emergentes para a classificação com o uso das modalidades da presente invenção;

[053] a Figura 15 é um fluxograma simplificado que mostra um processo para obter quadros de alta e baixa resolução e realizar detecção, classificação e rastreamento;

[054] a Figura 16 é uma vista de uma bandeja de pupas com eventos de classificação de acordo com modalidades da presente invenção;

[055] a Figura 17 ilustra uma bandeja de pupas com regiões de interesse ainda não identificadas;

[056] a Figura 18 ilustra uma região de interesse encontrada na Figura 17 de acordo com as presentes modalidades;

[057] a Figura 19 mostra um rastro feito por um inseto na bandeja da Figura 17 e rastreado de acordo com as presentes modalidades;

[058] a Figura 20 mostra os efeitos do empilhamento nas bordas de uma bandeja para impedir a classificação de insetos individuais na pilha;

[059] as Figuras 21 a 23 ilustram o despejamento de insetos frios em uma transportadora para a classificação sem empilhamento de acordo com modalidades da presente invenção;

[060] a Figura 24 é um fluxograma simplificado que mostra um procedimento para o despejamento de insetos em uma transportadora fria e a classificação de acordo com modalidades da presente invenção;

[061] a Figura 25 é um fluxograma simplificado que mostra um procedimento alternativa para a colocação das paredes do recipiente com insetos imóveis em uma transportadora fria e a classificação de acordo com modalidades da presente invenção;

[062] as Figuras 26 e 27 mostram um esquema e uma fotografia, respectivamente, de um separador robótico em uma classificação e linha de categorização por sexo de acordo com modalidades da presente invenção;

[063] as Figuras 28 a 32 são diagramas esquemáticos que mostram cinco variações diferentes ou um separador robótico de acordo com as presentes modalidades e

[064] a Figura 33 é um diagrama simplificado que mostra como os insetos em um recipiente cheio de acordo com as presentes modalidades podem ser alimentados.

Descrição de Modalidades Específicas da Invenção

[065] A presente invenção, em algumas modalidades da mesma, refere-se à categorização de mosquitos por sexo e, mais particularmente, mas não exclusivamente, a um método e aparelho para fornecer mosquitos machos categorizados por sexo.

[066] Um método e aparelho para categorização por sexo mecânica ou eletromecânica ou outra categorização por sexo automática de mosquitos por meio da extração de uma classe de mosquitos a partir de mosquitos não categorizados por sexo compreendem obter mosquitos não categorizados por sexo, obter imagens de mosquitos individuais em uma fase estacionária, classificar eletronicamente os indivíduos a partir das imagens em mosquitos machos e/ou mosquitos fêmeas e possivelmente também objetos não classificados; obter coordenadas de indivíduos de pelo menos uma das classificações de mosquito macho e mosquito fêmea e usar um braço robótico para alcançar um indivíduo identificado pelas coordenadas obtidas para armazenar ou remover os indivíduos, para, assim, fornecer mosquitos categorizados por sexo.

[067] A fase estacionária é qualquer fase na qual o mosquito não se move ou mal se move. Uma possibilidade ocorre quando os insetos são resfriados e permanecem imóveis nas paredes ou resfriado ainda mais para cair no chão. Uma outra possibilidade é quando os insetos adultos emergem da pupa.

[068] Antes de explicar pelo menos uma modalidade da invenção em detalhes, deve-se compreender que a invenção não é necessariamente limitada em sua aplicação aos detalhes de construção e à disposição dos componentes e/ou métodos apresentados na descrição a seguir e/ou ilustrados nos desenhos e/ou aos Exemplos. A invenção tem capacidade para outras modalidades ou para ser praticada ou realizada de várias formas.

[069] Agora, em referência aos desenhos, a Figura 1 ilustra um fluxograma que mostra uma modalidade generalizada da presente invenção. Um método para a categorização por sexo mecânica de mosquitos por meio da extração de uma classe de mosquitos a partir de mosquitos não categorizados por sexo pode começar com mosquitos não categorizados por sexo 10. Uma fase estacionária é identificada, digamos, durante a emergência como uma fase larval, ou aplicada por resfriamento 12, e os mosquitos são imageados na fase estacionária - 14. As imagens são usadas 16 para classificar os indivíduos. As classes usadas podem incluir machos e qualquer outra coisa, ou fêmeas e qualquer outra coisa ou machos, fêmeas e qualquer outra coisa. Tais coordenadas são fornecidas 18 juntamente com o gênero de indivíduos de interesse. Em alguns casos, os machos são recolhidos e, em outros casos, as fêmeas são removidas.

[070] Então, um braço robótico pode ser usado para alcançar um indivíduo identificado pelas coordenadas obtidas para armazenar ou remover os ditos indivíduos, para fornecer, assim, mosquitos categorizados por sexo 22.

[071] A classificação pode ser realizada com o uso de uma rede neural treinada, e a rede neural pode ser uma rede neural clássica ou uma rede profunda, incluindo uma rede neural convolucional ou qualquer outro tipo de rede neural.

[072] A rede neural treinada pode compreender quatro ou mais camadas.

[073] Em uma modalidade, o estágio de obter imagens 14 pode estar relacionado à obtenção e consideração de quadros únicos. Alternativamente, quadros sucessivos podem ser classificados juntos gerando-se diferenças entre quadros sucessivos e usando-se as diferenças para determinar quais indivíduos estão na fase estacionária. Assim, se quadros sucessivos mostram um formato de mosquito e pouca alteração, a implicação é que um mosquito estacionário é observado.

[074] A classificação de quadros sucessivos pode envolver o uso de uma rede neural recorrente (RNN), conforme será discutido com mais detalhes abaixo.

[075] Em uma modalidade, os insetos não categorizados por sexo são pupas emergentes, e a fase estacionária em 12 é a fase de emergência na qual o adulto emerge da pupa.

[076] Alternativamente, os insetos não categorizados são adultos, e a fase estacionária é obtida resfriando-se os insetos.

[077] Os insetos necessariamente não estão absolutamente estacionários durante a fase estacionária e, assim, uma modalidade usa o imageamento para rastrear 24 o movimento de insetos individuais para atualizar as coordenadas obtidas na caixa 18, de modo que o braço robótico se mova para o local correto.

[078] A obtenção de imagens para a classificação pode usar uma primeira câmera de resolução relativamente alta, e o rastreamento pode usar uma segunda câmera de resolução relativamente baixa com um amplo campo de visão. Alternativamente, uma única câmera pode ser usada para ambos, desde que combine resolução suficiente com campo suficiente de visão.

[079] Em modalidades, as coordenadas obtidas são da classe masculina, e os indivíduos identificados são separados e colocados em armazenamento. O braço robótico pode usar um dispositivo de sucção ou um dispositivo soprador para separar os indivíduos identificados e colocá-los em armazenamento.

[080] Alternativamente, as coordenadas obtidas são da classe feminina, e os indivíduos identificados são destruídos ou eliminados de outra forma. Um pequeno número pode ser retido para reprodução. O braço robótico pode compreender um eliminador para destruir os indivíduos identificados ou pode, como anteriormente, usar um dispositivo de sucção ou soprador.

[081] O eliminador pode ser um eletrodo ou um solenoide ou um laser, etc.

[082] Em uma modalidade, se um indivíduo não for classificado em macho ou fêmea em um tempo predeterminado, então, a imagem é enviada para um operador para adjudicação. Alternativamente, se um indivíduo não for classificado como macho em um tempo predeterminado, então, o mesmo é classificado como fêmea.

[083] Em uma modalidade, os insetos são resfriados para o imageamento em um recipiente que tem paredes, de modo que os insetos resfriados permaneçam em um lado interno das paredes. Então, a caixa é desmontada para apresentar os lados internos das paredes para o imageamento.

[084] Agora, em referência à Figura 2, os insetos são resfriados em um recipiente 30 que tem um alçapão, e o alçapão é aberto em uma primeira transportadora em movimento 32, também mantida a baixa temperatura, para permitir que os insetos resfriados caiam na transportadora. A primeira transportadora em movimento carrega os insetos para um local de imageamento 34 sob o sistema de imageamento por câmera 35. A transportadora pode parar quando os insetos alcançarem o local de imageamento para permitir o imageamento com as coordenadas e, então, o robô 36 separa os insetos selecionados, nesse caso, geralmente as fêmeas, deixando os machos caírem no final do transporte em caixas de liberação 38.

[085] Em uma modalidade, a parte 40 da transportadora 32 além da área de imageamento pode ser uma segunda transportadora que coleta mosquitos da primeira transportadora e, então, se desloca mais lentamente até a área de enchimento.

[086] A primeira transportadora em movimento 32 pode ser uma transportadora em movimento relativamente rápido, em que a velocidade espalha os mosquitos em queda, de modo que os insetos não se empilhem e prejudiquem o imageamento. A primeira transportadora em movimento 32 pode se esvaziar na segunda transportadora em movimento 40, sendo que é uma transportadora em movimento relativamente lento.

[087] Em mais detalhes, as presentes modalidades fornecem tecnologia pata detecção e classificação automática ou semiautomática de mosquitos.

[088] A fim de ter capacidade para realizar uma boa classificação e seleção dos mosquitos, o mosquito identificado precisa estar em uma posição em que pode ser identificado como um indivíduo e visto claramente e, então, o mesmo deve permanecer relativamente parado e certamente não voar entre a classificação e o momento no qual pode ser separado e removido no processo de categorização por sexo.

[089] Duas diferentes modalidades fornecem essas propriedades de formas diferentes.

[090] Uma primeira modalidade usa o resfriamento para resfriar o ar, de modo que os mosquitos não se movam e, então, a classificação seja realizada. Em modalidades, a temperatura é reduzida para -6 a 12 graus Celsius, baixa o suficiente para que os mosquitos não voem, mas alta o suficiente para que os mesmos continuem em pé e não caiam no chão e emaranhem-se uns aos outros.

[091] Uma variação na mesma modalidade reduz a temperatura ainda mais, ou a gaiola é agitada com o nível anterior de resfriamento, de modo a derrubar os mosquitos no chão.

[092] Uma segunda modalidade usa um sistema que monitora uma bandeja de pupas em torno do estágio de emergência e utiliza o fato de que o sexo do mosquito já pode ser visualmente identificado imediatamente antes de o mosquito adulto estar completamente emergido. Nesse ponto, o mosquito fica estacionário ou quase estacionário por diversos minutos, fornecendo tempo suficiente para detectar, classificar e, então, realizar a seleção. Tal sistema é produzido a partir de uma bandeja de pupas com água, pupa e um sistema de visão. Conforme será discutido, diferentes métodos de classificação de imagem são adequados para diferentes modalidades, e esses incluem redes neurais tanto clássicas quanto convolucionais e outras redes que envolvem aprendizado profundo.

[093] As presentes modalidades podem categorizar e manusear automaticamente os insetos adultos com base no processo de classificação para fornecer insetos categorizados por sexo em cartuchos de liberação.

[094] As presentes modalidades podem manusear os machos para seleção e uso posterior, deixando as fêmeas para trás, ou manusear as fêmeas e removê-las, deixando os machos para uso posterior.

[095] O sistema robótico pode potencialmente receber uma lista de prioridades do sistema de detecção e classificação, instruindo-o com qual mosquito lidar primeiro, conforme será descrito com mais detalhes abaixo.

[096] Uma modalidade pode incluir uma bandeja de pupas com água e pupas dentro.

[097] Pode ser adicionalmente fornecido um sensor de visão para detectar e classificar os mosquitos mediante sua emergência.

[098] Opcionalmente, uma gaiola com redes que circundam a bandeja de pupas a fim de impedir que quaisquer mosquitos emergentes escapem para o exterior.

[099] Um sistema robótico pode conter um braço e uma ferramenta de manuseio para manusear os mosquitos individuais. O sistema robótico também inclui um controlador para receber coordenadas e orientar o braço robótico e a ferramenta de manuseio para se moverem para aquelas coordenadas. Os movimentos podem ocorrer no eixo geométrico X-Y-Z, fornecendo a capacidade para a ferramenta de manuseio alcançar todas as áreas à frente da superfície na qual os mosquitos adultos estão parados.

[100] Em uma modalidade, a ferramenta de manuseio pode compreender um tubo de sucção e um motor com controlador. A sucção pode ser na ordem de 3 a 8 metros por segundo para um diâmetro de tubo na ordem de 6 a 12 mm. São possíveis tubos mais largos, porém o mesmo pode sugar mais do que apenas o mosquito-alvo selecionado, comprometendo, assim, a capacidade de seleção do sistema.

[101] A ferramenta de manuseio se desloca até a posição X-Y do mosquito, e o tubo de sucção é abaixado ao longo do eixo geométrico Z para encontrar o mosquito.

[102] Agora, é feita referência às Figuras 3 e 4 que ilustram um protótipo no qual uma bandeja de pupas com água está localizada abaixo de uma estrutura que retém um braço robótico. Conforme mostrado nas Figuras 3 e 4, um sensor de proximidade 50 pode estar localizado acima da bandeja de pupas 52 para captar a distância até a superfície da água como uma medida de segurança. O mesmo ou um outro sensor pode seguir o tubo de sucção 54 que é operado pelo braço robótico 56 para assegurar que o mesmo alcance a distância de cerca de 0,5 cm do mosquito, ou cerca de 1 cm da superfície da água. Isso quer dizer que o sensor fornece retroalimentação sobre a posição do tubo de sucção para a atuação correta.

[103] Agora, é feita referência à Figura 6 que é um diagrama esquemático que mostra o tubo de sucção 62 e o controlador do motor 64. O tubo se move sobre a área de bandeja 66. Uma vez que o tubo de sucção esteja em cima das coordenadas do mosquito, a sucção opera de modo a separar o mosquito selecionado que se desloca para um cartucho de armazenamento 58, tal como aquele mostrado na Figura 5. O mosquito 60, então, entra no cartucho.

[104] Dessa forma, os mosquitos emergentes machos são selecionados e colocados nos cartuchos de liberação.

[105] Para manutenção da colônia, as fêmeas e os machos selecionados podem ser transferidos e soprados em conjunto para gaiolas de criação, para manter o tamanho da colônia de criação. As fêmeas também podem ser eliminadas ao serem transferidas para gaiolas femininas para eliminação, se necessário.

[106] Como os mosquitos são sugados um a um, pode haver monitoramento do número de mosquitos que são carregados em cada cartucho de liberação ou nas gaiolas de criação. A Figura 7 ilustra um cartucho de liberação 70 que está cheio.

[107] Em uma outra modalidade, em vez de sucção dos mosquitos fêmeas, um módulo de laser, que pode ser dotado de coordenadas, pode disparar um feixe de laser e exterminar um mosquito fêmea. Nessa modalidade, o feixe de laser é direcionado para o mosquito fêmea com coordenadas fornecidas pelo processo de detecção e classificação.

[108] O termo “eliminar” é usado no presente documento para descrever as diferentes formas de exterminar os mosquitos fêmeas, incluindo tal uso de um feixe de laser.

[109] Em uma outra modalidade, em vez de sugar os machos, é possível esperar até que os mesmos voem. Nesse caso, há duas opções:

[110] Na primeira opção, a bandeja de pupa é colocada no interior de uma gaiola.

[111] As fêmeas são extraídas ou eliminadas por um eliminador roboticamente orientado ou por um feixe de laser ou outro tipo de eliminador, por exemplo, um eletrodo que eletrocuta os insetos ou um solenoide que, quando ativado, empurra o mosquito fêmea para a água de modo a afogá-lo.

[112] Os machos podem, então, ser deixados para emergir na gaiola.

[113] No final do processo, a ideia é que haja uma bandeja de pupas sem pupas e uma gaiola com apenas machos.

[114] O eliminador robótico é colocado no interior da gaiola, o que requer uma gaiola grande o suficiente, ou o eliminador pode entrar através de uma abertura cada vez que o sensor de visão classificar um mosquito como um mosquito fêmea.

[115] O sistema de visão é colocado a uma distância que fornece a resolução necessária para o sensor, seja logo acima do prato de pupas ou acima da gaiola com uma cobertura transparente e capacidade de zoom.

[116] Uma resolução típica da câmera pode ser de 5 Megapixels, que utiliza um sensor de 2.000 X 2.500 pixels. Se o campo de visão for uma região que tem um comprimento de 30 cm, divide-se pela dimensão e obtém-se o número de pixels por mm. As presentes modalidades podem ter pelo menos dois a três pixels ao longo do comprimento das características distinguíveis dos mosquitos. A distância da câmera até a bandeja e o número de pixels no sensor são, assim, conectados para fornecer uma sensibilidade.

[117] Agora, é feita referência à Figura 8 que ilustra uma segunda opção. Acima da bandeja de pupas 80, há um tubo 82 para orientar os mosquitos emergentes em direção aos cartuchos de liberação. Dessa forma, muitos mosquitos que emergem de uma única bandeja de pupas podem ser orientados através dos dutos em direção a um cartucho de liberação. Uma vez que o sistema identifique que o número de mosquitos transferidos para esse cartucho alcançou o número necessário, o mecanismo pode ser comutado para começar a preencher o próximo cartucho. Isso pode ocorrer, por exemplo, movendo-se para longe o cartucho preenchido e trazendo-se por baixo da saída do duto principal um novo cartucho de liberação para ser preenchido.

[118] Para que os cartuchos sejam ativamente orientados, um fluxo de ar pode ser introduzido no duto para dar suporte ao movimento dos mosquitos ao longo dos dutos em direção a um duto principal e, então, até o cartucho de liberação.

[119] Agora, em referência à Figura 9, a unidade de sucção 90 pode ser colocada acima das coordenadas corretas do inseto identificado na bandeja 92 conforme fornecido pela câmera (não mostrada) após a execução do processo de detecção e classificação. Um duto de orientação 93 com fluxo de ar leva ao cartucho de liberação 94.

[120] O cartucho de liberação 94 tem uma abertura em que, ao empurrar a partir do exterior, o duto de orientação 93 pode entrar no cartucho de liberação sem deixar que os mosquitos escapem para o exterior.

[121] Em protótipos, mostrou-se que o processo de emergência leva de 3 a 5 minutos e que, após os mosquitos terem emergidos completamente com todas as suas 6 patas, os mesmos permanecerão parados na água por pelo menos mais 3 minutos. Alguns andaram após 3 minutos, alguns andaram ou voaram após 15 minutos ou mais.

[122] Mostrou-se que a detecção e classificação por cada quadro durou cerca de 0,5 a 1,5 segundos, com uma média de 1 segundo.

[123] A distância que o eliminador robótico precisa se mover a fim de alcançar as coordenadas do mosquito era da ordem de dúzias de centímetros. O tempo necessário para isso está na ordem de 2 segundos, incluindo a sucção. O processo de classificação pode continuar em paralelo com a operação robótica, portanto, enquanto o braço robótico se move em direção a um mosquito, o algoritmo já classifica o próximo e, então, o ciclo total entre mosquitos é de 2 segundos. Isso significa que ao longo de 24 horas, um robô pode categorizar cerca de 43.000 mosquitos. Pode-se decidir a utilização de placas novas a cada 24 horas para aumentar a produtividade. Portanto, para uma taxa diária de produção de categorização por sexo de 5 milhões de mosquitos (ou 35 milhões por semana), são necessários cerca de 116 sistemas robóticos.

[124] Atualmente, os custos de um único robô desse tamanho e alcance está na ordem de 5.000 euros, resultando em um custo total de cerca de 500 mil euros para o equipamento de categorização automática para uma instalação com uma taxa de produção de 35 milhões de mosquitos por semana. Isso é muito mais acessível do que as centenas de pessoas que seriam necessárias para alcançar a mesma taxa manualmente.

[125] Na segunda modalidade principal, conforme apresentado no início, o sistema inclui uma unidade de resfriamento, com capacidade para reduzir a temperatura para 6 a 12 graus Celsius com resolução de 1 grau Celsius, uma gaiola com mosquitos adultos não categorizados por sexo, um sistema robótico que compreende um eliminador e um mecanismo para o deslocamento ao longo dos lados e topo e fundo da gaiola de mosquitos, de preferência, a partir do lado externo da gaiola.

[126] O método compreende resfriar a temperatura e aguardar cinco minutos até que os mosquitos tenham parado de voar, mas estejam repousando nas paredes da gaiola.

[127] A detecção e classificação são realizadas nos mosquitos e, para mosquitos individuais, o gênero é produzido. Se o robô for necessário devido à classificação indicar um mosquito que precisa ser coletado ou eliminado, então, é fornecida uma saída que concede as coordenadas nas paredes e o gênero.

[128] O sensor de visão, tipicamente uma câmera, é colocado ao lado da gaiola para cobrir todas as paredes. Alternativamente, múltiplas câmeras podem ser usadas.

[129] Uma vez que um mosquito fêmea seja classificado, um feixe de laser extermina o mosquito nas coordenadas do mosquito fêmea ou, alternativamente, um tubo de sucção é levado às coordenadas para sugar o mosquito fêmea através da rede. A sucção nesse caso seria maior na modalidade anterior, em que os alvos são os adultos que emergem do estágio de pupa. Uma típica velocidade pode estar na faixa de 20 m/s, a fim de ter capacidade para superar os esforços do mosquito de se agarrar às paredes da gaiola. Em uma outra modalidade, o eliminador da unidade de sucção pode ser colocado no interior da gaiola.

[130] Agora, em referência às Figuras 10 e 11, os mosquitos 100 estão em invólucros 102 que são resfriados até cerca de 8 graus. Os mosquitos aparecem agarrados à parede da caixa após a temperatura ser reduzida. Características distintas de gênero podem ser facilmente observadas, e os mosquitos podem ser classificados. A Figura 12 mostra mosquitos machos e fêmeas lado a lado e mostra as diferenças visuais entre os dois. Especificamente, no macho, a antena é peluda, o palpo maxilar é mais longo e a probóscide também é mais longa. Na fêmea, a antena é lisa, e o palpo maxilar e a probóscide são, ambos, mais curtos.

[131] O disposto a seguir refere-se a um método para detectar e classificar automaticamente mosquitos como machos e fêmeas e é descrito no caso de emergência de uma pupa, mas também se aplica ao imageamento sob condições frias.

[132] Para uma versão semiautomática, o sistema pode sinalizar um operador sobre sua constatação para uma decisão.

[133] Assim como uma classificação, o sistema pode fornecer as coordenadas do mosquito classificado para o controlador robótico trabalhar de acordo com qualquer uma das opções mencionadas no presente documento, tal como orientar um tubo de sucção e sugar o mosquito para transferi- lo para um cartucho, exterminá-lo com feixe de laser, etc.

[134] O conceito é principalmente para mosquitos, mas pode se aplicar a outras aplicações nas quais a criação de insetos esteja envolvida, a categorização por sexo seja necessária e haja um padrão visível distinto que possa ser o alvo de algoritmos de visão do computador de uma maneira similar aos métodos sugeridos neste pedido.

[135] No disposto a seguir descreve-se as presentes modalidades com referência à versão na qual os mosquitos emergem, mas os mesmos detalhes se aplicam mutatis mutandis à redução da temperatura.

[136] O mesmo algoritmo e método se aplicam à detecção sob condições frias, mas há diferenças. Em condições frias [1] não há processo de emergência que tenha que ser capturado, [2] não há priorização, visto que não há emergência, [3] o plano de fundo tem menos ruído visual (a carcaça de pupa, a superfície da água), o que melhora o desempenho geral (velocidade para alcançar um resultado positivo).

[137] Quando a orientação do mosquito é tal como na Figura 12, essas características são facilmente notáveis, desde que haja uma linha de visão entre o mosquito e um sensor de visão direta localizado acima.

[138] Conforme sugerido, o alcance disso pode ocorrer quando a temperatura é baixa, os mosquitos se agarram às paredes ou durante o processo de emergência.

[139] O processo de emergência leva alguns minutos (cerca de 3 a 5 minutos com possíveis exceções) até que o mosquito emerja de sua pupa e, então, o mesmo pode continuar parado sobre a água. Isso quer dizer que o mosquito emergente pode andar superficialmente, mas normalmente não muito. Geralmente, o mosquito emergente permanece parado por mais alguns minutos a mais para endurecer e secar seu exoesqueleto. Durante todo esse tempo, visto que o mesmo quase não se move, sua orientação é a mesma com referência a um sistema de visão que o observa de cima.

[140] As Figuras 13 e 14 são imagens reais de insetos que emergem das pupas em uma bandeja cheia de pupas. A Figura 13 mostra um macho e a Figura 14 mostra uma fêmea.

[141] As saídas são as coordenadas dos mosquitos classificados, fornecidas para o operador ou um controlador de robô.

[142] O sistema pode compreender uma bandeja de pupas. Como na segunda modalidade descrita acima, há uma unidade de resfriamento para resfriar para 6 a 12 graus Celsius, e também pode ser fornecida uma superfície para os mosquitos abatidos.

[143] Um sistema de visão, tal como uma câmera, uma unidade de controlador e um software, pode adquirir uma sequência de quadros contínuos do mosquito a fim de detectar, classificar e/ou rastrear sua posição.

[144] Visto que o mosquito pode ser orientado de diferentes formas, com algum ruído visual no plano de fundo, as modalidades podem usar uma abordagem de aprendizado profundo com base em redes neurais convolucionais para detectar e classificar o sexo do mosquito.

[145] Em uma outra modalidade, o pré-processamento da imagem pode ser realizado com o uso dos métodos de processamento de imagens clássico, tal como a obtenção de contornos, etc. Então, o aprendizado profundo é dotado dos resultados processados.

[146] O módulo de visão pode processar cada um dentre uma pluralidade de quadros tomados separada e independentemente. Alternativamente os quadros seguintes podem ser usados em conjunto para disponibilizar uma forma sequencial do problema e tratar a entrada como um vídeo. Entretanto, geralmente acredita-se que, para o processamento de vídeo, agrupar um único módulo de processamento de imagens em uma arquitetura RNN pode obter melhores resultados.

[147] As presentes modalidades podem conter uma ou duas câmeras acima da bandeja de pupas, bandeja na qual se espera que os adultos estejam prestes a emergir a qualquer momento. Pode ser fornecido um braço robótico com um laser, ou qualquer outro eliminador que possa operar nas determinadas coordenadas do mosquito de acordo com um conjunto de algoritmos.

[148] O conjunto de algoritmos pode encontrar onde, na imagem e no mundo físico, há uma emergência de um mosquito a partir de uma pupa e pode, então, rastrear sua localização com o tempo.

[149] Uma câmera de alta resolução pode procurar pelas características do mosquito que particularmente identificam o gênero, tal como a área da antena. Além disso, pode haver uma câmera de baixa resolução que é necessária para o rastreamento. Alternativamente, uma única câmera pode fornecer tanto a detecção-classificação quanto o rastreamento, se a área de rastreamento estiver coberta dentro do campo de visão da câmera (FOV).

[150] As entradas para imageamento e localização são: uma sequência contínua de imagens provenientes de uma projeção superior de uma bandeja com mosquitos e pupas em água no interior da bandeja.

[151] Em requisito pode ser:

[152] "Encontrar as coordenadas no mundo real de todos os mosquitos fêmeas na bandeja capturada em qualquer dado momento".

[153] Nesse caso, o objeto será classificado como fêmea ou “outro” (macho ou pupa ou outro ruído visual). Isso pode ser útil para o controle de qualidade ou quando apenas a extração de fêmeas for necessária. É possível utilizar a quebra do algoritmo abaixo e definir um propósito diferente - "Encontrar as coordenadas no mundo real de todos os mosquitos machos na bandeja capturada em qualquer dado momento" ou, ainda, "encontrar as coordenadas no mundo real de todos os mosquitos machos e mosquitos fêmeas na bandeja capturada em qualquer dado momento".

[154] Para esse propósito, podemos usar os seguintes recursos:

[155] 1) Calibração de câmera (uma vez para a configuração do sistema e conforme necessário durante a manutenção, etc.).

[156] 2) Detectar ROIs (regiões de interesse) de cada mosquito.

[157] 3) Classificar o gênero de cada mosquito

[158] 4) Priorizar mosquitos

[159] 5) Rastrear cada mosquito fêmea classificado

[160] 6) Transformar o sistema de coordenadas em pixel em sistema de coordenadas de mundo real

[161] Agora, é feita referência à Figura 15 que é um diagrama de blocos que descreve o fluxo de imageamento e localização, com a premissa de que duas câmeras sejam usadas; uma para detecção-classificação (a saber, Câmera de Alta Resolução) e a outra com FOV maior para rastreamento (a saber, Câmera de Baixa Resolução).

[162] Na caixa 110, um quadro de alta resolução é obtido. Na caixa 112, a detecção e a classificação são realizadas. Na caixa 114, as coordenadas são tomadas e transformadas para a quadros de referência câmera e robô. Na caixa 116, um quadro de baixa resolução é obtido, e na caixa 118, o rastreamento é realizado para atualizar as coordenadas.

[163] O modelo pode ser duplicado para corresponder a um modelo com mais bandejas ou câmeras. O rastreamento pode ser mútuo para algumas câmeras que observam cada parte de uma bandeja.

[164] Após a configuração do sistema, há um procedimento de calibração de câmera a fim de possibilitar o encontro da transformação entre o sistema de coordenadas em pixel e o sistema de coordenadas físico.

[165] Caso o sistema consista em duas câmeras, por exemplo, de alta e baixa resolução, conforme sugerido acima, então, uma calibração entre cada câmera pode ser derivada dos parâmetros de calibração de cada câmera.

[166] A calibração de câmera com o uso de um quadro de verificação ou outros padrões é conhecida, e tais métodos conhecidos são fornecidos como um exemplo:

[167] "A Flexible New Technique for Camera Calibration", Zhengyou Zhang, 1998, Microsoft (www(dot)microsoft(dot)com/en-us/research/publication/a- flexible-new-technique-for-câmera- calibration/).

[168] "A Four-step Camera Calibration Procedure with Implicit Image Correction", Janne Heikkila e Olli Silven, University of Oulu, Finlândia.

[169] A implantação do algoritmo é conhecimento comum, e o código de amostra está publicamente disponível.

[170] Na calibração de câmera, há um modelo que é dividido em parâmetros extrínsecos (orientação e localização) e intrínsecos (principalmente ópticos). Ter todos esses parâmetros permite uma transformação entre o sistema de coordenadas de imagem e o sistema de coordenadas de mundo real.

[171] A calibração é feita capturando-se diversas figurações em várias orientações de um tabuleiro ou outro padrão fácil de detectar. Correspondendo-se pontos de detecção ou marcação em cada uma das figurações, um processo de otimização pode ser convertido nos parâmetros corretos de modelo de câmera.

[172] Uma vez que tenhamos os parâmetros de transformação (parâmetros intrínsecos e extrínsecos), pode- se traduzir a localização do mosquito para uma localização física para que o sistema mecânico funcione.

[173] Visto que as câmeras são mecanicamente estáveis, o processo de calibração é realizado uma vez (ou por motivos de manutenção, a cada dois meses/anos).

[174] Com duas câmeras, e tendo os parâmetros de transformação para cada câmera, calculou-se a transformação entre os sistemas de coordenadas em pixel das duas câmeras. Então, pode-se usar as coordenadas da câmera de alta resolução e transformá-las na câmera de baixa resolução para o algoritmo de rastreamento e emiti-las para o eliminador mecânico ou indicar para um operador humano onde o mosquito classificado deverá ser encontrado.

[175] Uma exatidão da calibração é um parâmetro de sistema que é usado para o algoritmo de rastreamento e para o canhão mecânico.

[176] A detecção (a tarefa de encontrar onde os mosquitos estão na imagem) e a classificação (a tarefa de determinar qual é o gênero) podem ser solucionadas em conjunto por qualquer um dos seguintes algoritmos como exemplos:

[177] Single Shot MultiBox Detector (https://arxiv(dot)org/abs/1512.02325 Autores: Wei Liul, Dragomir Anguelov2, Dumitru Erhan3, Christian Szegedy3, Scott Reed4, Cheng-Yang Ful, Alexander C. Bergl, UNC Chapel Hill 2Zoox Inc. 3Google Inc. 4University of Michigan, Ann- Arbor). Faster rcnn: www(dot)arxiv(dot)org/abs/1506.01497 ("Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", autores: Shaoqing Ren, Kaiming He, Ross Girshick e Jian Sun). Yolo: www(dot)pjreddie(dot)com/media/files/papers/yolo(dot)pdf.

[178] Esses tipos de algoritmos podem treinar uma rede que é uma combinação de uma RPN (rede de proposta de região) e uma rede de classificação que compartilha as mesmas características convolucionais. A RPN propõe várias caixas delimitadoras que contêm um objeto com alta probabilidade e, dessa forma, de fato informa à rede classificação onde procurar na imagem. A rede de classificação pode ser treinada para determinar a qual classe o objeto pertence.

[179] Nas presentes modalidades, no que diz respeito à detecção-classificação de mosquitos, pode-se definir as possíveis classes como macho\fêmea\nenhuma ou apenas como fêmea\nenhuma ou apenas como macho\nenhuma. A fim de treinar a rede, pode-se coletar um grande número de figurações identificadas contendo mosquitos machos e fêmeas.

[180] Para o treinamento para apenas uma classe, fêmea, por exemplo, pode-se fornecer a rede com figurações masculinas ou figurações de plano de fundo para a classe não feminina. Dessa forma, a rede pode treinar para procurar pelos atributos relevantes de fêmeas e não os atributos gerais de mosquitos que são comuns a machos e fêmeas.

[181] As figurações de plano de fundo podem estar vazias de água ou pupas ou mosquitos cujo gênero não pode ser determinado.

[182] A rede de classificação em cada um desses algoritmos pode ser alterada e pode-se usar um aprendizado de transferência como ajuste fino ou como um vetor de recurso, o que pode ser feito com o uso de redes, tais como Alexnet, VGG e Inception.

[183] O aprendizado de transferência é descrito nesses exemplos: "ImageNet Classification with Deep Convolutional Neural Networks", Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton (www(dot)papers(dot)nips(dot)cc/paper/4824-imagenet- classificação-with-deep-convolutional- neural- networks(dot)pdf). "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION" Karen Simonyan & Andrew Zisserman (www(dot)arxiv(dot)org/pdf/ 1409.1556v6(dot)pdf).

[184] A saída da detecção e classificação para uma única imagem é uma lista de retângulos (ROIs) e probabilidades correspondentes quanto à possibilidade de cada um ser um mosquito fêmea ou uma probabilidade geral de que o objeto pertença a cada uma das classes. Essa saída é uma lista e vetores (X_i,Y_i,W_i,H_i,[P_i_1, ...P_i_n])

[185] em que: I é um índice detectado de ROI e n é o número de classes:

[186] (X_i,Y_i) = são coordenadas na imagem de onde a ROI detectada é

[187] (W_i, H_i) = são a largura e a altura da ROI detectada e

[188] (P_i_l,P_i_2,...P_i_n) é a lista de probabilidades do objeto na ROI pertencer a cada uma das classes.

[189] Agora, é feita referência à Figura 16 que mostra uma bandeja de pupas e adultos emergentes. São mostrados resultados de um algoritmo de detecção e classificação para duas classes e 5 insetos detectados. Deve- se notar que cada classe recebe uma probabilidade.

[190] Uma possível configuração de rede pode ser uma RNN (rede neural recorrente) que é uma rede que armazena o estado e classifica diferentemente de acordo com o estado atual.

[191] A arquitetura proposta funcionada em uma única imagem. Sabe-se que, em processamento de vídeo, há uma vantagem em usar arquitetura RNN. Dessa forma, a continuidade das imagens tomadas antes que o mosquito apareça completamente afeta a probabilidade de que o mesmo seja macho ou fêmea. O conhecimento adicional acumulado a partir de cada quadro aumenta a probabilidade de classificação positiva.

[192] Métodos relevantes: www(dot)cv- foundation(dot)org/openaccess/content_cvpr_2015/papers/Ng_B eyond_Short_Snippets_2015_C VPR_paper(dot)pdf. www(dot)static(dot)googleusercontent(dot)com/media/research .google(dot)corn/en//pubs/archive /42455(dot)pdf.

[193] Uma implantação adicional também usa quadros anteriores para processar um quadro atual e, assim, comes sob a orientação de usar o vídeo como entrada.

[194] Nessa implantação, visto que a câmera é estável, e as pupas mal se movem, apenas áreas de emergência se alteram ao longo de quadros adjacentes. Assim, tem-se capacidade para detectar o momento de emergência a ser utilizado para a priorização conforme será discutido com mais detalhes abaixo. Tal conhecimento pode ser usado adicionando-se um termo à função de perda da RPN que descreve um delta entre sucessivos quadros de imagem, assim, a medida L2 de imagens ou de espaço de recurso. Em outras palavras, a modalidade pune os resultados de detecção em que há pouca variação e incentiva a RPN para resultados de detecção em que há alta variação.

[195] Durante a fase de emergência surge um ponto no tempo em que o mosquito para de alterar sua forma, cujo ponto pode ser confirmado contra um tempo médio ou máximo do começo ao fim da emergência ou a partir do momento em que as seis patas dos mosquitos estão fora da pupa.

[196] Um método é determinar o tempo que a ROI da imagem começa a mudar mais rapidamente, digamos, com o uso de um limiar em deltas L2 da imagem adjacente. A abordagem é viável, visto que as imagens das pupas antes do processo de emergência começar são estáveis, sendo que pupas mais velhas que alcançam o estágio de emergência mal se movem na água. As bandejas de pupas já podem ser categorizadas por sexo e alvejadas de acordo com a data de pupação (transformação de larva em pupa).

[197] Um segundo método é treinar a rede de classificação para classificar entre mais de duas classes, a saber, macho e fêmea, e em vez disso, usar quatro ou mais classes: macho jovem, macho adulto, fêmea jovem e fêmea adulta. As classes de macho ou fêmea jovem são definidas como aqueles mosquitos cujas patas ainda não são completamente observadas e machos e fêmeas adultos são aqueles mosquitos cujo corpo está completamente exposto. Com o uso desse método, o número de classes pode ser estendido até mais de quatro para uma distinção mais refinada de níveis diferentes de emergência.

[198] O sistema pode armazenar na memória todos os casos de mosquitos emergidos e sua temporização (de acordo com a regra acima) e, então, fornecer o próximo mosquito a ser manuseado de acordo com uma fila FIFO (primeiro a emergir, primeiro a ser manuseado).

[199] O processo de treinamento das redes neurais é um processo que pode ser realizado uma vez com o uso de um grande banco de dados marcado. Há muitos fatores que afetam o bom treinamento: a seleção de funções de ativação, a seleção de modelo de otimização, como inicializar as ponderações da rede, a determinação de hiperparâmetros, desistência, aumento de dados e muito mais.

[200] O resultado de um bom processo de treinamento é um conjunto de valores finais das ponderações das redes neurais que podem, então, ser usados para classificar as imagens.

[201] O uso de uma rede treinada no banco de dados de treinamento pode fornecer o tempo desde o início da emergência que é necessário para se chegar a uma classificação bem-sucedida.

[202] Por exemplo, o número médio de quadros (dada uma taxa de quadros constante) desde o início da emergência até a classificação de gênero pode ser conhecido com 90% de probabilidade de ser 250 quadros (a uma taxa de 2 quadros por segundo). Essas informações, que podem ser coletadas durante o processo de treinamento, podem servir posteriormente ao sistema robótico para saber quanto tempo resta para operar no mosquito classificado.

[203] A Figura 17 é uma imagem de entrada típica em que muitas das pupas são observadas e uma região de interesse precisa ser procurada.

[204] A Figura 18 mostra uma região de interesse que foi encontrada na Figura 17 e contém um mosquito adulto que precisa de classificação.

[205] O rastreamento pode ser realizado com o uso de uma câmera de resolução inferior, se fornecida.

[206] Uma vez que esteja completamente emergido, um mosquito pode se deslocar na superfície, e o é sugerido para o fornecimento de coordenadas corretas para o operador/ferramenta robótica de manuseio.

[207] Os algoritmos de rastreamento exploram as informações de um modelo de movimento que contém velocidades e acelerações comuns, para punir/incentivar possíveis locais do alvo no próximo quadro. Com o uso do rastreamento, a oclusão parcial ou o erro na detecção de alvo pode ser compensando.

[208] Os parâmetros de rastreamento para o algoritmo de rastreamento podem incluir:

[209] Velocidade média/máxima de mosquitos;

[210] Aceleração média/máxima de mosquitos;

[211] Duração de movimento média/máxima;

[212] Velocidade angula de movimento;

[213] Aceleração angular de movimento;

[214] Parâmetros de câmara, tais como comprimento focal, distância entre a câmera e a bandeja, orientação de câmera para traduzir todas as unidades especiais para unidades de pixel; e

[215] Tempo de exposição da câmera para evitar o desfoque de um objeto em movimento.

[216] Algoritmos de rastreamento existentes que podem ser usados é um algoritmo de rastreamento com base no filtro de Kalman.

[217] A Figura 19 mostra um inseto 117 e um rastro 119 que o inseto 117 seguiu.

[218] Uma bandeja de pupas, tal como nas Figuras 17 a 19, contém pupas e água. Um sensor de visão pode capturar quadros da bandeja e um algoritmo de aprendizado profundo usa o quadro para detectar-classificar um mosquito emergente. Então, o algoritmo de rastreamento rastreia o mosquito caso se mova. Então, opcionalmente, as coordenadas podem ser enviadas para um operador no processo semiautomático, ou as coordenadas rastreadas podem ser enviadas para um sistema robótico para realizar a sucção do mosquito ou exterminar o mosquito com um feixe de laser ou outros meios.

[219] Uma modalidade alternativa pode funcionar em insetos à medida que são aquecidos e lentamente se tornam ativos. A modalidade pode envolver o resfriamento do ar onde os mosquitos estão armazenados para uma temperatura de 6 a 12 graus, de modo que os mosquitos fiquem em repouso, quase sem se mover, mas não caiam no solo. Alternativamente, a temperatura pode ser ajustada para menos de 6 graus, de modo que os mosquitos fiquem imóveis no chão.

[220] O sensor de visão, então, opera na gaiola ou placa com os mosquitos frios e imóveis. Como na modalidade anterior, um algoritmo de visão que pode se basear no aprendizado profundo pode detectar-classificar os mosquitos. Se a temperatura estiver acima de seis graus, então, o rastreamento pode ser necessário, visto que os mosquitos se movimentam um pouco. A temperaturas abaixo de seis graus, não é movimento e o rastreio não é necessário.

[221] Se treinar apenas uma classe (fêmea, por exemplo), pode-se fornecer figurações masculinas ou figurações de plano de fundo para a classe não feminina à rede. Dessa forma, a rede pode treinar para procurar pelos atributos relevantes de fêmeas e não os atributos gerais de mosquitos que são comuns a machos e fêmeas. Isso pode criar uma rede mais eficiente.

[222] Uma modalidade pode executar duas redes em paralelo nos mesmos quadros - uma que classifica apenas fêmeas, e uma segunda que classifica apenas machos.

[223] Conforme mencionado acima, em vez de trabalhar em quadros individuais, o uso de vídeo pode ter uma vantagem.

[224] Se usar o vídeo, então, uma possível configuração de rede é RNN (rede neural recorrente), que é uma rede que armazena um estado e classifica diferentemente de acordo com seu estado atual. A continuidade das imagens tomadas antes que o mosquito apareça completamente afeta a probabilidade de que o mesmo seja macho ou fêmea. O conhecimento adicional acumulado a partir de cada quadro aumenta a probabilidade de classificação positiva.

[225] O sistema pode ter capacidade para identificar, ou seja, detectar o mosquito emergente e onde o mesmo se encontra no processo de emergência, isto é, o sistema pode identificar o ponto no tempo em que um mosquito está totalmente emergido. Métricas que podem ser usadas incluem tempo médio de início de emergência. Alternativamente, a classificação visual de partes do processo de emergência pode ser usada. Os resultados são usados para inserir o mosquito emergente atual em uma fila para o sistema robótico, que o sistema robótico pode, então, lidar em ordem.

[226] Para o escalonamento do processo de detecção e categorização por sexo em grandes quantidades, um sistema automatizado pode alimentar continuamente o sistema de visão com os mosquitos, entretanto, os mosquitos devem estar em um estado no qual possam ser claramente imageados. Assim, os mosquitos devem estar separados entre si, ou pelo menos não um em cima do outro, de modo que o sistema de visão tenha capacidade para identificar as características exclusivas de gênero de mosquitos individuais e fornecer uma resposta da possibilidade de o objeto ser um mosquito e, então, se é um mosquito macho ou fêmea.

[227] Entretanto, a fim de aumentar o rendimento do sistema, grandes quantidades de mosquitos podem passar através do sistema de visão por unidade de tempo.

[228] Entretanto, se alguém pegar um compartimento de armazenamento com uma grande quantidade de mosquitos e simplesmente diminuir a temperatura até que os mosquitos caiam imóveis, então, simplesmente formará pilhas de indivíduos indistinguíveis. A Figura 20 mostra uma placa de mosquitos tigre-asiático, em que a temperatura é reduzida abaixo de 8 graus Celsius, e os mosquitos formaram pilhas nas quais os indivíduos não podem ser classificados.

[229] Aqui, nota-se facilmente uma situação em que para a área intermediária 122, onde os mosquitos não estão uns em cima dos outros, é fácil identificar os mosquitos, e também o seu sexo, entretanto, nas bordas, exemplificadas por 120, observa-se agrupamentos de mosquitos para os quais não é possível identificar os únicos mosquitos e seu sexo.

[230] A seguir, são fornecidas duas modalidades para uma alimentação contínua de mosquitos sem empilhamento uns em cima dos outros.

[231] Uma primeira modalidade compreende:

[232] a. Um sistema de resfriamento;

[233] b. Compartimentos de armazenamento de mosquitos;

[234] c. Mecanismo de transporte para mover os mosquitos adiante;

[235] d. Sistema de visão com controlador. O controlador pode ser conectado à transportadora de modo a parar quando necessário e fornecer as coordenadas;

[236] e. Robô de separação e colocação para sugar ou soprar. Por exemplo, pode incluir uma pipeta de sucção comum ou bomba de ar elétrica ou um soprador que pode ser usado para soprar ou, ao contrário, como um dispositivo de sucção. O robô pode assoprar mosquitos machos ou fêmeas. Alternativamente, um eliminador, tal como um feixe de laser, pode puncionar ou extrair mosquitos fêmeas de qualquer outra forma que os extermine.

[237] Na modalidade, a temperatura é reduzida de modo que os mosquitos caiam no piso abaixo. Entretanto, o piso está em movimento, visto que o piso é uma transportadora em movimento e, assim, não ocorre empilhamento.

[238] A Figura 21 ilustra a queda de mosquitos do recipiente 130 em uma transportadora em movimento 132, em que o movimento da transportadora é usado para assegurar que os mosquitos sejam espalhados e não empilhados. No lado direito está um sensor 134 para identificar os mosquitos a partir de cima.

[239] Uma variação é resfriar os mosquitos de modo que caiam em uma pilha e, então, abrir um alçapão por baixo em uma transportadora em movimento. Isso é mostrado nas Figuras 22 e 23. A Figura 22 mostra correia 140 sem quaisquer mosquitos, e a Figura 23 mostra a correia com mosquitos caindo após o alçapão 142 ter sido aberto.

[240] Na Figura 23, os alçapões do armazenamento são abertos, e os mosquitos caem enquanto a transportadora se move, e conforme observado, os mosquitos são separados na transportadora.

[241] Um procedimento é mostrado no fluxograma da Figura 24.

[242] a. Compartimentos de armazenamento de mosquitos são mantidos a uma baixa temperatura conforme mencionado acima - 150.

[243] b. Os mosquitos no interior dos compartimentos de armazenamento são abatidos - 152.

[244] c. Os mosquitos podem, então, ser transferidos para a transportadora - 154, despejando-os diretamente na transportadora. A transferência pode ser realizada enquanto a transportadora se move a fim de assegurar a separação. A transferência ocorre despejando-se os mosquitos diretamente do armazenamento ou com o uso de um outro item para transferi-los do armazenamento para a transportadora. Por exemplo, um tubo de sucção pode sugar os mosquitos do piso do armazenamento para superfície da transportadora,

[245] d. Uma vez que a maior parte ou todo o conteúdo de um compartimento de armazenamento tenha sido transferido para a transportadora, um outro compartimento de armazenamento (ou conjunto de compartimentos, a fim de trabalhar em paralelo) 155 é colocado em tal proximidade à transportadora para repetir o processo.

[246] 2. A transportadora pode mover os mosquitos sob condições frias, conforme mencionado acima, em direção a um ponto de manuseio robótico. Em modalidades, duas transportadoras podem ser usadas. Em tal caso, a primeira transportadora pode ter sido usada para separar os mosquitos, e no final da primeira transportadora os mosquitos podem, então, cair na transportadora principal que conduz os mosquitos à inspeção robótica e à estação de categorização por sexo. Em tal exemplo, as duas transportadoras diferentes também podem se mover em velocidades diferentes. Uma velocidade mais alta pode ser útil para separar os mosquitos que, então, caem na transportadora secundária, para mover- se lentamente em direção à estação robótica.

[247] 3. Em um ponto de inspeção, uma câmera superior detecta e classifica os mosquitos de acordo com o sexo 158, conforme explicado acima. O controlador de transportadora pode comandar a transportadora para parar o movimento 156 por um curto período, digamos, alguns segundos, até que o algoritmo do sistema de visão conclua o processo de detecção-classificação para os objetos no campo de visão. A transportadora se move novamente, e uma vez que o campo de visão esteja novamente cheio com mosquitos ainda não classificados, a transportadora para novamente. Alternativamente, o processo de detecção-classificação pode ocorrer na mesma posição na qual o robô de separação está localizado, conforme será descrito abaixo. Nessa alternativa, a transportadora para, o robô de separação separa os mosquitos classificados e, então, a transportadora se move novamente por uma distância predefinida para possibilitar que um outro conjunto de mosquitos esteja localizado tanto sob a visão quanto na área de alcance do robô de separação.

[248] 4. O recebimento de coordenadas e a realização do rastreamento dos mosquitos podem ser realizados por uma ou duas câmeras.

[249] 5. Um robô de separação, por exemplo, um robô de separação e colocação delta, recebe as coordenadas das separações de mosquito 160. A separação pode ocorrer da seguinte forma:

[250] a. O robô de separação retém uma fonte de sucção;

[251] b. A fonte de sucção suga os mosquitos que se aproximam da transportadora;

[252] i. para um tubo de sucção temporário, os quais são, então, expelidos para uma unidade de armazenamento de liberação, ou para um cartucho quando cheio, isto é, quando recebem um número predefinido de mosquitos sugados;

[253] ii. Ou, após cada sucção, o mosquito é expelido diretamente em uma unidade de armazenamento de liberação que está localizada perto do robô de sucção, de preferência, também sob condições frias.

[254] c. O robô pode contar 162 o número de mosquitos sugados e expelidos em caixas de liberação;

[255] d. Uma vez que a unidade de armazenamento de liberação tenha alcançado um determinado número de mosquitos, a caixa de armazenamento de liberação é trocada por uma caixa nova 164. A troca pode ser manual ou automática.

[256] Uma segunda modalidade compreende

[257] a. Um sistema de resfriamento; e

[258] b. Compartimentos de armazenamento de mosquitos que têm paredes às quais os mosquitos podem se agarrar. Os compartimentos de armazenamento podem ser destacados ou dobrados, de modo que, em vez de uma caixa, após o destacamento das paredes umas das outras, o resultado seja um conjunto de painéis aos quais os mosquitos se agarram. As paredes podem compreender redes de alumínio com pequenos furos.

[259] Os mosquitos podem, assim, ser apresentados em repouso nas redes sem voar, e não uns em cima dos outros.

[260] c. Uma transportadora ou sistema de trilho pode mover os painéis com os mosquitos para frente;

[261] d. Sistema de visão com controlador conforme discutido acima. O controlador pode ser conectado à transportadora de modo a parar a transportadora quando necessário, de modo a fornecer as coordenadas necessárias ao robô de separação e colocação, conforme discutido acima;

[262] e. O robô de separação e colocação conforme discutido acima no presente documento

[263] O procedimento é, agora, discutido com referência à Figura 25 que é um fluxograma que ilustra a presente modalidade.

[264] Inicialmente, a temperatura é reduzida 170 com o uso do sistema de resfriamento de modo que os mosquitos não voem no compartimento de armazenamento, e também não caiam no piso do armazenamento. Tal temperatura para o mosquito tigre-asiático é, por exemplo, normalmente abaixo de 13 graus Celsius, sem voo, mas acima de 4 graus Celsius, o que permite que os insetos se agarrem às paredes - 172. Uma temperatura preferencial é acima de 8 graus Celsius.

[265] As paredes da gaiola nas quais os mosquitos repousam são, então, retiradas 174 e fixadas à transportadora ou sistema de trilho em movimento.

[266] As paredes da gaiola, quando colocadas no elemento em movimento (transportadora ou trilho), são orientadas de modo que os mosquitos repousem na parte superior que era, anteriormente, a parte interna do compartimento de armazenamento, e o sistema de visão e também a unidade de robô de separação e colocação podem, assim, ter acesso direto aos mosquitos.

[267] A transportadora pode propagar as paredes para frente, e com as mesmas, os mosquitos, sob condições frias, conforme mencionado acima, em direção ao ponto de manuseio do robô.

[268] No ponto de manuseio robótico, uma câmera superior detecta e classifica o sexo do mosquito - 178, conforme discutido acima no presente documento. O rastreio pode ser necessário, visto que a temperatura é alta o suficiente para permitir que os mosquitos andem nas paredes. O controlador de transportadora pode comandar a transportadora para parar o movimento por um curto período 176, digamos, alguns segundos, até que o algoritmo do sistema de visão tenha concluído o processo de detecção- classificação para os objetos no campo de visão. Posteriormente, a transportadora pode se mover novamente e, uma vez que o campo de visão esteja novamente cheio de mosquitos não classificados, a transportadora pode parar novamente. Alternativamente, o processo de detecção- classificação pode ocorrer na posição em que o robô de separação está localizado e, assim, a transportadora pode esperar que o robô de separação separe os mosquitos da classe apropriada 180 e, posteriormente, se mover uma distância predefinida para possibilitar que um outro conjunto de mosquitos seja localizados tanto sob a visão quanto na área de alcance do robô de separação.

[269] As várias modalidades para separação dos mosquitos são as mesmas que nas modalidades anteriores e não são repetidas.

[270] Se os mosquitos já tiverem sido classificados por sexo de modo que haja apenas um sexo no interior das gaiolas, então, as modalidades podem carregar as caixas de liberação com um número predeterminado de mosquitos. O sistema de visão, em tal caso, precisará apenas detectar e classificar uma única classe de mosquito, sem a necessidade de ainda classificá-la como macho ou fêmea. O robô pode, então, separar e colocar os mosquitos, com o uso de sucção, nas caixas de liberação conforme descrito acima.

[271] Em modalidades, se o sistema de visão não tiver capacidade para classificar o mosquito como uma fêmea ou macho, o mesmo pode enviar a imagem para um operador, que pode realizar a classificação. Outras modalidades podem eliminar mosquitos não identificados juntamente com as fêmeas.

[272] As Figuras 26 e 27 mostram um esquema e um exemplo de um robô de separação e colocação delta 200 integrado a uma linha de categorização por sexo automatizada 202 que transporta 204 e 206, e uma câmera 208. A câmera pode ser conectada a outros componentes 210 de um sistema de visão.

[273] Nas presentes modalidades, o robô delta 200 tem uma unidade de sucção e, então, o mesmo suga os mosquitos diretamente sobre a esteira e assopra-os para as caixas de liberação de modo a preencher as caixas, ou o robô pode sugar os mosquitos das redes nas quais os mosquitos se encontram, de acordo com algumas das modalidades acima.

[274] Agora, é feita referência à Figura 28 que é um diagrama simplificado que mostra uma modalidade na qual as fêmeas são identificadas e eliminadas e os machos são coletados. Um recipiente com água e pupas 280 é fornecido, juntamente com uma câmera 282 para o imageamento de adultos emergentes para a classificação e um laser 284 para eliminação das fêmeas. O fluxo de ar do ventilador 286 sopra os adultos sobreviventes através do duto 288 através da câmera 290 ou outro sensor que conta os mosquitos que passam. O recipiente 292 coleta os mosquitos e é trocado por um novo recipiente 294 quando a contagem determinar que o mesmo está cheio.

[275] Agora, é feita referência à Figura 29 que é um diagrama simplificado de uma modalidade que difere da versão na Figura 28. Aqui, os machos são identificados e ativamente sugados. As partes que são iguais às da modalidade anterior têm os mesmos numerais de referência e não são descritas novamente, exceto quando necessário para uma compreensão da presente modalidade. Um recipiente com água e pupas 280 é fornecido, juntamente com uma câmera 282 para o imageamento de adultos emergentes para a classificação. Um tubo de sucção 296 é fornecido na extremidade de um braço robótico 298 para sugar ativamente os machos através do duto 288. O recipiente 292 coleta os mosquitos e é trocado por um novo recipiente 294 quando cheio.

[276] Agora, é feita referência à Figura 30 que é um diagrama simplificado de uma modalidade que difere da versão na Figura 28. Aqui, permite-se que os machos voem para a coleta, enquanto as fêmeas são ativamente sugadas em um recipiente separado. As partes que são iguais às da modalidade anterior têm os mesmos numerais de referência e não são descritas novamente, exceto quando necessário para uma compreensão da presente modalidade. Um recipiente com água e pupas 280 é fornecido, juntamente com uma câmera 282 para o imageamento de adultos emergentes para a classificação. Um tubo de sucção 296 é fornecido na extremidade de um braço robótico 298 para sugar ativamente as fêmeas para o recipiente 300. Os machos voam e entram na corrente de ar acionado por ventilador 286 de modo a serem conduzidos através do duto 288 depois da câmera 290 ou outro sensor que conta os mosquitos que passam. O recipiente 292 coleta os mosquitos e é trocado por um novo recipiente 294 quando a contagem determinar que o mesmo está cheio.

[277] Agora, é feita referência à Figura 31 que é um a diagrama simplificado de uma modalidade adicional da presente invenção. Como na Figura 28, as fêmeas são eliminadas por um laser e permite-se que os machos voem em uma corrente de ar. As partes que são iguais às da modalidade anterior têm os mesmos numerais de referência e não são descritas novamente, exceto quando necessário para uma compreensão da presente modalidade. Um recipiente com água e pupas 280 é fornecido, juntamente com uma câmera 282 para o imageamento de adultos emergentes para a classificação. O laser 284 é direcionado para eliminar as fêmeas. Permite-se que os machos voem e entrem na corrente de ar acionado por ventilador 286 de modo a serem conduzidos através do duto 288 depois da câmera 290 ou outro sensor que conta os mosquitos que passam. O recipiente 292 coleta os mosquitos e é trocado por um novo recipiente 294 quando a contagem determinar que o mesmo está cheio. O duto 288 e os recipientes são ativamente resfriados para retardar os mosquitos de modo que mais mosquitos possam ser embalados em um único recipiente.

[278] Agora, é feita referência à Figura 32 que é um a diagrama simplificado de uma modalidade adicional da presente invenção. Nessa modalidade, todos os insetos emergentes voam na direção oposta ao prato de pupas e são conduzidos a uma área de seleção na qual são resfriados e, assim, imobilizados. Então, os machos e as fêmeas são separados. As partes que são iguais às da modalidade anterior têm os mesmos numerais de referência e não são descritas novamente, exceto quando necessário para uma compreensão da presente modalidade. Um recipiente com água e pupas 280 é fornecido. Permite-se que todos os adultos emergentes voem e entrem na corrente de ar acionada por ventilador 286 de modo a serem conduzidos através do duto 288 depois da câmera 290 ou outro sensor que conta os mosquitos que passam para a superfície de seleção 310 que é resfriada. Acima da superfície de seleção resfriada 310 está a câmera 282 para o imageamento de adultos emergentes para a classificação. Um tubo de sucção 296 é fornecido na extremidade de um braço robótico 298 para sugar ativamente os machos através do tubo ou duto 316 para o recipiente 292. Um segundo tubo de sucção 312 é operado pelo segundo braço robótico 314 para sugar as fêmeas para o recipiente 300. O recipiente 292 coleta os mosquitos e é trocado por um novo recipiente 294 quando a contagem determinar que o mesmo está cheio. A contagem do segundo braço robótico 314 pode ser subtraída da contagem na câmera 290 para gerar o número de machos que são introduzidos no recipiente 292. O duto 288 e os recipientes também podem ser ativamente resfriados como anteriormente.

[279] Será entendido que qualquer uma das modalidades anteriores pode ser usada para realizar a categorização por sexo, e as fêmeas podem ser eliminadas ou deixadas no lugar à medida que os machos são removidos, etc.

[280] Agora, é feita referência à Figura 33, que é um diagrama simplificado que mostra como os insetos podem ser alimentados quando nos recipientes. A estação de categorização por sexo e preenchimento 320 fornece recipientes 322 cheios de mosquitos. Os recipientes cheios são transferidos para armazenamento, e têm orifícios de alimentação ou uma rede de alimentação em uma superfície 324. O robô de alimentação 326 espalha água com açúcar ou semelhantes na superfície 324 para alimentar os insetos. Espera-se que, durante a vida útil de uma patente que amadureça a partir deste pedido, muitas tecnologias relevantes de separação, visão e aprendizado de robôs sejam desenvolvidas e os escopos dos termos correspondentes sejam destinados a incluir todas tais novas tecnologias a priori.

[281] Os termos "compreende", "que compreende", " inclui", "que inclui", "que tem" e seus conjugados significam "que inclui, porém sem limitação".

[282] O termo "que consiste em” significa “incluindo e limitado a”.

[283] Conforme usado no presente documento, as formas singulares “um”, “uma”, “o” e “a” compreendem referências plurais a menos que o contexto claramente dite o contrário. Por exemplo, o termo "um composto" ou "pelo menos um composto" pode compreender uma pluralidade de compostos que compreendem misturas dos mesmos.

[284] Observa-se que certos recursos da invenção, que são, a título de clareza, descritos no contexto de modalidades separadas, também podem ser fornecidos em combinação com uma única modalidade. Por outro lado, vários recursos da invenção, que são, a título de brevidade, descritos no contexto de uma única modalidade, também podem ser fornecidos separadamente ou em qualquer subcombinação adequada ou conforme adequado em qualquer outra modalidade descrita da invenção. Certos recursos descritos no contexto de várias modalidades não devem ser considerados recursos essenciais dessas modalidades, salvo se a modalidade for inoperante sem esses elementos.

[285] Embora a invenção tenha sido descrita em conjunto com modalidades específicas da mesma, é evidente que muitas alternativas, modificações e variações se tornarão evidentes para aqueles elementos versados na técnica. Consequentemente, pretende-se abranger todas as tais alternativas, modificações e variações que se enquadram no espírito e no amplo escopo das reivindicações anexas.

[286] Todas as publicações, patentes e pedidos de patente mencionados neste relatório descritivo são incorporados, em sua totalidade, a título de referência, ao relatório descritivo, na mesma medida como se cada publicação, patente ou pedido de patente individual estivesse específica e individualmente indicada como incorporada a título de referência no presente documento. Além disso, a citação ou a identificação de qualquer referência neste pedido não deve ser interpretada como uma admissão de que tal referência está disponível como técnica anterior à presente invenção. Na medida em que os cabeçalhos de seção são usados, os mesmos não devem ser interpretados como necessariamente limitantes.

Claims

1. Método para categorização por sexo mecânica de mosquitos, pela extração de uma classe de mosquitos a partir de mosquitos não categorizados (10), o método caracterizado pelo fato de que compreende: obter os referidos mosquitos não categorizados (10); identificar mosquitos individuais em uma fase estacionária, a fase estacionária sendo selecionada para ser longa o bastante para permitir a identificação; obter imagens de indivíduos dos referidos mosquitos não categorizados (10); classificar eletronicamente os referidos indivíduos a partir das referidas imagens em pelo menos um membro de um grupo de classificações incluindo mosquitos machos e mosquitos fêmeas, e objetos não classificados; obter coordenadas de indivíduos de pelo menos uma das classificações de mosquitos machos e mosquitos fêmeas, as referidas coordenadas sendo relacionadas a uma posição na referida fase estacionária; usar um braço para alcançar um indivíduo identificado por uma das referidas coordenadas obtidas enquanto o referido indivíduo está na referida fase estacionária, para armazenar ou remover os referidos indivíduos, para fornecer dessa forma mosquitos categorizados por sexo (22).

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a referida classificação compreende o uso de uma rede neural treinada.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a referida rede neural treinada compreende quatro ou mais camadas.

4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a referida obtenção de imagens compreende a obtenção de quadros sucessivos, a geração de diferenças entre os referidos quadros sucessivos e o uso das referidas diferenças para determinar quais indivíduos estão na referida fase estacionária.

5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que a referida classificação compreende o uso de uma rede neural recorrente (RNN).

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os referidos mosquitos não categorizados por sexo (10) são pupas emergentes e a referida fase estacionária é a emergência.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os referidos mosquitos não categorizados por sexo (10) são adultos e a referida fase estacionária é obtida resfriando-se os referidos mosquitos.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende rastrear o movimento de mosquitos individuais para atualizar as respectivas coordenadas obtidas antes de utilizar o referido braço robótico (56).

9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende obter as referidas imagens para classificação com o uso de uma câmera (208, 282) de uma primeira resolução e realizar o referido rastreamento com o uso de uma câmera (208, 282) de uma segunda resolução, em que a primeira resolução é maior do que a segunda resolução.

10. Método, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que as referidas coordenadas obtidas são da referida classe masculina, e os referidos indivíduos identificados são pegos e colocados em armazenamento.

11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o referido braço robótico (56) compreende um dispositivo de sucção ou um dispositivo soprador pegar os referidos indivíduos identificados e colocá-los em armazenamento.

12. Método, de acordo com qualquer uma das reivindicações 1 a 9 e 11, caracterizado pelo fato de que em que as referidas coordenadas obtidas são da referida classe feminina, e os referidos indivíduos identificados são destruídos.

13. Método, de acordo com qualquer uma das reivindicações 1 a 9, e 11, caracterizado pelo fato de que, se um indivíduo não for classificado em macho ou fêmea em um tempo predeterminado, então a imagem é enviada para um operador.

14. Método, de acordo com qualquer uma das reivindicações 1 a 9, e 11, caracterizado pelo fato de que se um indivíduo não for classificado como macho em um tempo predeterminado, então, o mesmo é classificado como fêmea.

15. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que os referidos mosquitos são resfriados em um recipiente (30) que tem paredes, de modo que os mosquitos resfriados permaneçam em um lado interno das referidas paredes, sendo que o método compreende desmontar a referida caixa de modo a apresentar os referidos lados internos das referidas paredes para a referida obtenção das referidas imagens.

16. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que os referidos mosquitos são resfriados em um recipiente (30) que tem um alçapão, e o referido alçapão é aberto em uma primeira transportadora (32) em movimento para permitir que os referidos mosquitos resfriados caiam através do mesmo, sendo que a referida primeira transportadora (32) em movimento carrega os referidos mosquitos para um local de imageamento para a referida obtenção de imagens, e sendo que a referida transportadora (32) para com os mosquitos no referido local de imageamento para obter as referidas coordenadas.

17. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que a referida primeira transportadora (32) em movimento é configurada para se mover a uma primeira velocidade que impede o empilhamento de mosquitos prejudicando o imageamento, sendo que as referidas coordenadas obtidas são da classe feminina, de modo que os mosquitos machos sejam retidos na transportadora (32), sendo que a primeira transportadora (32) em movimento se esvazia em uma segunda transportadora (40) em movimento que é uma transportadora configurada para se mover a uma segunda velocidade mais baixa do que a primeira velocidade, para transportar os referidos mosquitos retidos para colocação em cartuchos de armazenamento (58).

18. Aparelho para a categorização por sexo mecânica de mosquitos pela extração de uma classe de mosquitos a partir de mosquitos não classificados, o aparelho caracterizado pelo fato de que compreende: uma fonte de mosquitos não categorizados (10); uma câmera (208, 282) configurada para obter imagens de mosquitos individuais em uma fase estacionária, a fase estacionária sendo selecionada para ser longa o bastante para permitir a identificação, a câmera (208, 282) sendo adicionalmente configurada para obter imagens e coordenadas dos referidos indivíduos em uma fase estacionária; um classificador, configurado para classificar eletronicamente os referidos indivíduos a partir das referidas imagens em pelo menos um membro de um grupo de classificações incluindo mosquitos machos, mosquitos fêmeas e objetos não classificados; um braço conectado ao referido classificador e configurado para alcançar um indivíduo identificado por uma das referidas coordenadas, enquanto o referido indivíduo está na fase estacionária, para armazenar ou remover os referidos indivíduos, para fornecer desse modo mosquitos categorizados por sexo (22).

19. Aparelho, de acordo com a reivindicação 18, caracterizado pelo fato de que o referido classificador compreende uma rede neural treinada.

20. Aparelho, de acordo com a reivindicação 19, caracterizado pelo fato de que a referida rede neural treinada compreende quatro ou mais camadas.

21. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20, caracterizado pelo fato de que a câmera (208, 282) é configurada para obter quadros sucessivos, e um processador fixado à referida câmera (208, 282) gera quadros diferentes entre os referidos quadros sucessivos e usa os referidos quadros diferentes para determinar quais indivíduos estão na referida fase estacionária.

22. Aparelho, de acordo com a reivindicação 21, caracterizado pelo fato de que o referido classificador é configurado com uma rede neural recorrente (RNN).

23. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20 e 22 caracterizado pelo fato de que os referidos mosquitos não categorizados (10) são pupas emergentes, e a referida fase estacionária está em emergência.

24. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20 e 22, caracterizado pelo fato de que compreende ainda um resfriador, e sendo que os referidos mosquitos não categorizados (10) são adultos, e a referida fase estacionária é obtida resfriando-se os referidos mosquitos.

25. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20 e 22, caracterizado pelo fato de que compreende ainda um rastreador configurado para rastrear o movimento de mosquitos individuais para atualizar as respectivas coordenadas obtidas antes de utilizar o referido braço.

26. Aparelho, de acordo com a reivindicação 25, caracterizado pelo fato de que a referida câmera (208, 282) é uma câmera de alta resolução, e o referido rastreador é uma câmera de baixa resolução.

27. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20, 22 e 26, caracterizado pelo fato de que o referido braço compreende um dispositivo de sucção ou um dispositivo soprador para separar os referidos indivíduos identificados e colocá-los em armazenamento.

28. Aparelho, de acordo com qualquer uma das reivindicações 18 a 20, 22 e 26, caracterizado pelo fato de que o referido braço robótico (56) compreende um eliminador para destruir os referidos indivíduos identificados.

29. Aparelho, de acordo com a reivindicação 28, caracterizado pelo fato de que o referido eliminador é um membro do grupo que compreende um eletrodo, um solenoide e um laser.

30. Aparelho, de acordo com a reivindicação 24, caracterizado pelo fato de que compreende um recipiente (30) com paredes destacáveis associadas a um resfriador, sendo que os referidos mosquitos são resfriados no referido recipiente (30), de modo que os mosquitos resfriados permaneçam em um lado interno das referidas paredes, e a caixa é desmontável para apresentar os referidos lados internos das referidas paredes para a referida obtenção das referidas imagens.

31. Aparelho, de acordo com a reivindicação 18, caracterizado pelo fato de que compreende uma primeira transportadora (32) que conduz à referida câmera (208, 282) e ao referido braço e um recipiente (30) com um alçapão e um resfriador, sendo que os referidos mosquitos são resfriados no referido recipiente (30) e o referido alçapão é aberto na referida primeira transportadora (32) em movimento para permitir que os referidos mosquitos resfriados caiam, sendo que a referida primeira transportadora (32) em movimento carrega os referidos mosquitos para um local de imageamento abaixo da referida câmera (208, 282) para a referida obtenção de imagens, e sendo que a referida transportadora (32) é configurada para parar com os mosquitos no referido local de imageamento para obter as referidas coordenadas.

32. Aparelho, de acordo com a reivindicação 31, caracterizado pelo fato de que compreende uma segunda transportadora (40) em movimento e cartuchos de armazenamento (58), sendo que a referida primeira transportadora (32) em movimento é configurada para se mover a uma primeira velocidade que impede o empilhamento de mosquitos que prejudica o imageamento, sendo que as referidas coordenadas obtidas são da classe feminina, de modo que os mosquitos machos sejam retidos na transportadora (32), em que a primeira transportadora (32) em movimento é configurada para se esvaziar na referida segunda transportadora (40) em movimento, sendo que a referida segunda transportadora (40) em movimento é uma transportadora em movimento relativamente lento, em que a referida segunda transportadora (40) em movimento é configurada para transportar os referidos mosquitos retidos para colocação em cartuchos de armazenamento (58).