BR112019011080A2

BR112019011080A2 - método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, sistema computadorizado e equipamento de câmera

Info

Publication number: BR112019011080A2
Application number: BR112019011080A
Authority: BR
Inventors: T David Laura; C Naval Prospero Jr
Original assignee: Univ Of The Philippines
Priority date: 2016-12-15
Filing date: 2017-12-13
Publication date: 2019-10-01
Also published as: MX2019006944A; WO2018111124A3; PH12016000469A1; BR112019011080A8; US20210289759A1; WO2018111124A2; US11612148B2

Abstract

um sistema computadorizado de realização de censos de peixes que de outra forma requereria alto nível de conhecimento de domínio e expertise é descrito. mergulhadores com conhecimento mínimo de peixes podem obter medições de alta qualidade de população e distribuição de espécies usando um equipamento de câmera estéreo e um software analisador de vídeo de peixes que foi desenvolvido. o sistema tem dois componentes principais: um equipamento de câmera e software para estimativa do tamanho, densidade e biomassa do peixe. o equipamento da câmera consiste em um suporte simples no qual um a quatro pares de câmeras estéreo são montados para capturar vídeos do piso bentônico por alguns minutos. os vídeos coletados são enviados para um servidor que realiza análise estéreo e reconhecimento de imagem. o software produz clipes de vídeo contendo estimativas do tamanho de peixes, densidade e biodiversidade de espécies e um relatório de registro contendo informações sobre os peixes individuais para posterior análise do usuário final.

Description

MÉTODO PARA ESTIMAR O TAMANHO DE PEIXES, DENSIDADE

POPULACIONAL, DISTRIBUIÇÃO DE ESPÉCIES E BIOMASSA SUBAQUÁTICA,

SISTEMA COMPUTADORIZADO E EQUIPAMENTO DE CÂMERA

CAMPO DA INVENÇÃO [0001] Esta invenção refere-se a um método para estimar o tamanho de peixe, densidade populacional, distribuição de espécies e biomassa subaquática. Um sistema computadorizado para o referido método é particularmente descrito.

ANTECEDENTES DA INVENÇÃO [0002] Métodos de Censo Visual Subaquático (UVC) para dados de medições de densidade de populações de peixes datam da década de 1950 [1] [2] [3] e há muito tempo foram adotados como padrão para o monitoramento de ecossistemas marinhos. Métodos de amostragem alternativos incluem o uso de explosivos ou ichiocidas, anzol e linha, armadilhagem e arrasto [4] . As principais vantagens do UVC em relação a estas técnicas de amostragem são a sua natureza não destrutiva, repetibilidade e o custo-benef1cio.

[0003] Existem dois tipos comuns de técnicas de amostragem de UVC em uso: transectos lineares e contagens de pontos. No método de transectos lineares, um mergulhador nada por uma distância predeterminada (por exemplo, 50 metros) ao longo de uma linha de transecção central (geralmente uma fita métrica de um comprimento predeterminado) enquanto registra as contagens e espécies de peixes que são visíveis dentro de 2,5 metros ou 5 metros de distância em ambos os lados do transecto. No método de contagem de pontos, um mergulhador registra por um tempo fixo (por exemplo, 10 minutos) todos os

Petição 870190050516, de 29/05/2019, pág. 16/55

2/20 peixes visíveis dentro de um círculo com 7,5 metros ou 10

metros de	raio [5] [ 6] .
[0004]	Os métodos de	UVC sofrem	dos seguintes	vieses que
tendem a	subestimar as	medições	da	densidade	dos peixes:
resposta	comportamental	dos peixes	à	presença do	mergulhador
(agitação	ou atração), habilidade do	mergulhador	em contar e
identificar com precisão	os peixes,	e	a fadiga do	mergulhador.

Muitas vezes, o mergulhador é sobrecarregado com a decisão de incluir ou excluir um peixe individual à medida que se desloca para dentro ou para fora da área da amostra. Em casos difíceis, o mergulhador deve decidir se o peixe estava dentro ou fora da área quando foi observado pela primeira vez [7].

[0005] Nos últimos anos, câmeras de vídeo foram implantadas para Captura de vídeo por observatórios submersos em habitats de água e bentônicos. A análise subsequente do vídeo coletado é tediosa e demorada, exigindo intensa concentração humana, que muitas vezes resulta em fadiga humana. As estimativas de tempo gasto para anotação manual e classificação especificam cerca de 15 minutos para cada minuto de vídeo [8]. Portanto, é evidente que a análise assistida por máquina é necessária para simplificar o processo e reduzir os erros.

SUMÁRIO DA INVENÇÃO [0006] A presente invenção é um sistema de Censo Visual Subaquático baseado em estereovisão semi-automatizado. A invenção automatiza o processo de realização do censo de peixes que, de outra forma, requer alto nível de conhecimento de domínio e expertise. Com a invenção, mesmo mergulhadores com conhecimento mínimo de peixes podem obter medições de população e distribuição de espécies de alta qualidade usando

Petição 870190050516, de 29/05/2019, pág. 17/55

3/20 um equipamento de câmera estéreo e um software analisador de video de peixes que desenvolvemos. Um registro visual permanente do censo está disponível para posterior revisão e arquivamento.

[0007] Em particular, a invenção descreve um método para estimar o tamanho de peixe, densidade populacional, distribuição de espécies e biomassa subaquática compreendendo: capturar vídeos de peixes subaquáticos com pelo menos uma câmera emparelhada em pelo menos um ponto debaixo d'água, onde as câmeras emparelhadas são pré-calibradas debaixo d'água para determinar seus parâmetros intrínsecos, extrínsecos e de distorção; converter os vídeos a partir da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos a partir da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels; processar os primeiro e segundo quadros de imagem por: detecção de imagens de peixes nos primeiro e segundo quadros de imagem; gerar manchas de peixe a partir das imagens dos peixes; gerar caixas delimitadoras das manchas de peixe; não distorcer e retificar os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidos e retificados ao aplicar os parâmetros de calibração; usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas; gerar um mapa de disparidade de pixels a partir dos primeiros e segundos pares de imagens retificadas e não distorcidas; calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade

Petição 870190050516, de 29/05/2019, pág. 18/55

4/20 para gerar uma nuvem de pontos; aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos com máscara de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.

[0008] O comprimento de cada peixe é calculado a partir da diferença de coordenadas horizontais da caixa delimitadora entre os pixels correspondentes ao focinho e cauda do peixe e os parâmetros da câmera.

[0009]	A	densidade	populacional	é calculada	definindo	um
volume	tridimensional	no mapa de	disparidade	e contando	o
peixe dentro	do referido volume.
[0010]	A	espécie de	peixe é identificada por:	pré-coleta	de
imagens	de	peixes cortados; extração de características	de

cor, forma e textura das imagens pré-coletadas dos peixes cortados; atribuição de uma espécie de peixe para cada característica de cor, forma e textura extraida; extração de características de cor, forma e textura das imagens de peixes cortados; e combinação de acordo com a semelhança das características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados;

[0011] A biomassa dos peixes é calculada considerando as espécies e o comprimento de uma base de dados de constantes de peixe.

[0012] A calibração das câmaras emparelhadas é feita preferencialmente ao capturar imagens de um padrão geométrico regular em diferentes posições e orientações; transferir as imagens do padrão geométrico regular para um computador; e

Petição 870190050516, de 29/05/2019, pág. 19/55

5/20 calcular os parâmetros intrínsecos, extrinsecos e de distorção das câmeras emparelhadas usando o método de Bouguet.

[0013] A captação dos vídeos de peixes subaquáticos compreende preferencialmente: anexar as câmeras emparelhadas a um equipamento; colocar o equipamento de câmara em uma extremidade de uma linha de transecção; capturar pelo menos dois minutos de vídeos em uma extremidade da linha de transecção; mover o equipamento de câmara para um ponto na linha de transecção; capturar outro pelo menos dois minutos de vídeos no ponto da linha de transecção; repetir o movimento do equipamento de câmara ao longo da linha de transecção e capturar os vídeos até que o equipamento de câmara alcance outra extremidade da linha de transecção.

[0014] De preferência, o equipamento de câmara para captação de vídeos de peixe subaquático compreende: uma estrutura multifacetada; um suporte de câmera montado em pelo menos um lado da estrutura; uma pluralidade de suportes que suportam a estrutura; uma barra manuseável ligada diagonalmente à estrutura; em que cada suporte é acoplado rotativamente à estrutura com um ângulo ajustável em relação à estrutura e o suporte da câmera é acoplado rotativamente à estrutura com uma inclinação ajustável. Os suportes do equipamento de máquina estendem-se preferencialmente em ângulos oblíquos para estabilizar a estrutura.

[0015] Em uma concretização preferida da invenção, existe um sistema computadorizado para estimar o tamanho do peixe, densidade populacional, distribuição de espécies e biomassa subaquática, o referido sistema compreendendo: pelo menos uma câmara emparelhada que é pré-calibrada para a captura de

Petição 870190050516, de 29/05/2019, pág. 20/55 videos subaquáticos; um equipamento para montar as câmeras emparelhadas; uma unidade de processamento; um dispositivo de armazenamento de memória; um dispositivo de exibição acoplado à unidade de processamento para exibir dados; e um módulo de programa para fornecer instruções para a unidade de processamento, a unidade de processamento responsiva às instruções do módulo de programa, operável para: converter os videos da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os videos da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels; processar os primeiro e segundo quadros de imagem por: detecção de imagens de peixes nos primeiro e segundo quadros de imagem; gerar manchas de peixe a partir das imagens dos peixes; gerar caixas delimitadoras das manchas de peixe; retificar e não distorcer os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidas e retificadas ao aplicar os parâmetros de calibração; usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas; gerar um mapa de disparidade de pixels a partir dos primeiro e segundo pares de imagens retificadas e não distorcidas; calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade para gerar uma nuvem de pontos; aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos mascaradas de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.

Petição 870190050516, de 29/05/2019, pág. 21/55

7/20 [0016] A concretização preferida da invenção é operável para: (a) computar o comprimento de cada peixe ao determinar a diferença de coordenada horizontal da caixa delimitadora entre os pixels correspondentes ao focinho e à cauda do peixe; (b) computar a densidade populacional ao definir um volume tridimensional no mapa de disparidade e contar o peixe dentro do referido volume; (c) identificar uma espécie de peixe por: pré-coletar imagens de peixes cortados; extrair características de cor, forma e textura das imagens précoletadas de peixes cortados; atribuir uma espécie de peixe para cada característica extraída de cor, forma e textura; extrair características de cor, forma e textura das imagens de peixes cortados; e combinar as características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados; e (d) computar a biomassa de peixe, dados a espécie e o comprimento a partir de uma base de dados de constantes de peixe.

[0017] De preferência, o número máximo de peixes em todos os quadros de imagem é adicionalmente calculado, as espécies de peixe, comprimento de peixes, biomassa e valores de densidade populacional e número máximo de peixes são exibidos nos quadros de imagem.

BREVE DESCRIÇÃO DOS DESENHOS [0018] A Fig. 1 mostra o equipamento da câmera subaquático.

[0019] A Fig. 2 mostra a calibração das câmeras subaquáticas.

Petição 870190050516, de 29/05/2019, pág. 22/55

8/20 [0020] A Fig. 3 mostra a coleção de videos subaquáticos usando o equipamento da câmera ao longo da linha de transecção.

[0021] A Figura 4 é um fluxograma dos processos utilizados na invenção.

[0022] A Fig. 5 mostra as manchas de peixe segmentadas geradas pela invenção.

[0023] A Fig. 6 é uma captura de tela de um video anotado resultante da invenção.

[0024] A Fig. 7 é uma vista em perspectiva do equipamento de câmara com câmaras montadas no mesmo.

[0025] A Fig. 7-A é uma vista em perspectiva da estrutura do equipamento de câmara com câmaras montadas no mesmo.

[0026] A Fig. 7-B é uma vista lateral da estrutura do equipamento de câmara com câmaras montadas no mesmo.

DESCRIÇÃO DETALHADA [0027] A invenção tem os seguintes componentes principais: um sistema de equipamento de câmera estéreo com montagens para quatro pares de câmeras e software para calcular o tamanho de

peixes,	densidade populacional e	valores	de	biomassa	a partir
de gravações de video de peixes.
[0028]	0 equipamento da câmera consiste	em uma	estrutura
simples	com quatro suportes nos	quais	um	a quatro	pares de
câmeras	estéreo são montados	e com	os	eixos da câmera

orientados paralelamente ao fundo do mar. Durante a coleta de dados, as câmeras capturam videos por alguns minutos (por exemplo, de 2 a 5 minutos) , registrando todos os peixes em seu campo de visão. O equipamento é movido em cinco metros para frente ao longo de uma linha de transecção e mantido ali pelo

Petição 870190050516, de 29/05/2019, pág. 23/55

9/2Q mesmo periodo de tempo. Este processo é repetido até 10 dessas amostras de video serem obtidas. Os videos coletados são enviados para um servidor que realiza análise estéreo e reconhecimento de imagem. O software produz clipes de video contendo estimativas do tamanho de peixes, densidade e biodiversidade de espécies e um relatório de registro para posterior análise do usuário final.

Ά. O equipamento de câmera [0029] Como mostrado nas Figuras 7 a 7-B, o equipamento da câmera (10) consiste em um quadro quadrado superior (12) e um quadro quadrado inferior (14) com uma montagem de suporte de câmera (16) em cada lado da estrutura quadrada superior (12) . Um par de câmeras (18) é montado no suporte da câmera (16).

[0030] A estrutura quadrada inferior (14) é suportada por quatro suportes (20) que se estendem em ângulos oblíquos para: (a) fornecer estabilidade contra as forças causadas por correntes submarinas; e (b) conformar-se com a topografia do fundo do mar desnivelada e ou inclinada. A montagem de suporte da câmara (16) garante que: (a) as câmaras (18) estão separadas por uma distância de linha de base fixa; e (b) os eixos óticos das câmeras (18) são fixados em um ângulo constante para assumir configurações paralelas, convergentes ou fora do eixo.

[0031] A montagem de suporte de câmera (16) é acoplada rotacionalmente à estrutura quadrada superior (12) com uma inclinação ajustável que permite que os pares de câmeras (18) apontem para o horizonte do fundo do mar. Uma barra de comando (22) está diagonalmente ligada, e conecta a estrutura quadrada superior (12) e a estrutura quadrada inferior (14) para

Petição 870190050516, de 29/05/2019, pág. 24/55

10/20 facilitar o transporte subaquático do equipamento da câmera (10) .

[0032] A direção dos pares de câmeras (18) são 0, 90, 280 e 270 graus em relação à direção da linha de transecção. A estrutura quadrada superior (12) eleva os pares de câmeras a uma distância fixa acima do fundo do mar.

[0033] Ao realizar medições, o equipamento da câmera (10) é posicionado a uma altura adequada de modo que os pares de câmeras (18) possam capturar com eficiência vídeos de peixes.

[0034] As câmaras (18) utilizadas são de um a quatro pares de câmeras GoPro Hero 3+ Black ou câmeras Hero 4 Silver equipadas com filtros vermelhos e montadas sobre os suportes. Os ajustes da câmara são como se segue: 24 quadros por segundo, Wide Field de V, 1080p. A distância da linha de base para o par estéreo é fixada em 20 cm. Ao usar quatro pares, os pares estéreos são orientados nas quatro direções cardinais. O equipamento da câmera (10) é posicionado a uma altura adequada de cerca de 1 metro acima do fundo do mar, de modo que os pares de câmeras estéreo possam capturar com eficiência vídeos de peixes. A sincronização do par de câmeras é obtida através da ativação simultânea das câmeras usando o controle remoto WiFi. Antes da implantação, um flash LED de smartphone também é mostrado para as câmeras para fornecer sugestões adicionais de sincronização.

B. Calibração da Câmera Estéreo Subaquática [0035] O objetivo da calibração da câmera é determinar os parâmetros intrínsecos, extrínsecos e de distorção de cada par de câmeras que será usado para análise estéreo. Devido à diferença do índice de refração da água e do ar, essa etapa de

Petição 870190050516, de 29/05/2019, pág. 25/55

11/20 calibração deve ser feita embaixo d'água. Um mergulhador posiciona, enquanto estiver embaixo d'água, um padrão de calibração de câmera xadrez na frente das câmeras estéreo para capturar várias imagens do padrão em diferentes orientações e posições (Figura 2) . A calibração para todos os pares normalmente leva cerca de 1 a 2 minutos.

[0036] Uma vez que o equipamento da câmera (10) é trazido de volta à superfície no final do processo de coleta de dados, o vídeo de calibração é transferido para um computador. Um algoritmo de calibração de câmera analisa imagens representativas e gera os parâmetros da câmera para cada par de câmeras estéreo. Os parâmetros intrínsecos, extrínsecos e de distorção das câmaras emparelhadas são então calculados usando fórmulas convencionais conhecidas na técnica, incluindo o método de Bouguet [9].

C. Coleta de Dados de Vídeo de Peixe [0037] O equipamento da câmera (10) é colocado na origem da linha de transecção, enquanto o vídeo do peixe é coletado por um período de 2 minutos ou mais (Figura 3) . Para minimizar a perturbação aos peixes na vizinhança do equipamento, o mergulhador se afasta do equipamento da câmera (10) enquanto as câmeras estão gravando amostras de vídeo de peixes. Este processo é repetido a cada 5 metros, movendo ao longo da linha de transecção até que todo o transecto de 50 metros seja coberto. Quando o processo de coleta de dados termina, a plataforma da câmera (10) é trazida de volta à superfície e os arquivos de vídeo coletados são transferidos para um computador para análise. Todos os vídeos coletados são

Petição 870190050516, de 29/05/2019, pág. 26/55

12/20 convertidos em quadros de imagem para processamento subsequente.

SOFTWARE DE ANÁLISE DE VÍDEO [0038] O processamento de video de peixe começa com a conversão de videos coletados em quadros de imagem nos quais um algoritmo de segmentação de peixes é aplicado para produzir manchas de peixe que são a base da contagem de peixes. A retificação de imagem é aplicada nos quadros estéreos correspondentes para produzir pares de imagens retificados não distorcidos, nos quais um mapa de disparidade e, subsequentemente, uma nuvem de pontos são gerados. As coordenadas 3D de cada peixe detectado são calculadas a partir da nuvem de pontos. Um volume tridimensional na frente do ponto médio do par de câmera estéreo é então definido. Os peixes cujos centroides estão contidos neste volume são contados enquanto que os que estão fora dele são ignorados. A densidade populacional é calculada a partir da contagem de peixes dentro do volume. Para identificação das espécies, utilizamos uma Rede Neural Convolucional [10] para realizar a classificação das imagens dos peixes. A biomassa dos peixes é estimada através de uma fórmula que relaciona o comprimento do peixe e a biomassa.

[0039] O Analisador de Video calcula o tamanho do peixe, densidade da população e valores de biomassa a partir de videos de peixes capturados pelas câmeras estéreo através das seguintes etapas de processamento (veja a Figura 4):

A. Segmentação de Peixe [0040] A segmentação de peixe é uma etapa de processamento de imagem que isola o primeiro plano de peixe da água azul e o

Petição 870190050516, de 29/05/2019, pág. 27/55

13/20 fundo bentônico (Figura 5) . Um algoritmo de segmentação de peixes baseado em movimento gera manchas de peixe a partir dos quadros de imagem que são validados e subsequentemente contados pelo algoritmo de contagem de peixes. Caixas de delimitação são geradas a partir dessas manchas para uso posterior.

B. Análise Estéreo [0041] O objetivo da etapa de análise estéreo é calcular as coordenadas 3D do centroide da imagem e do tamanho de cada peixe a partir das manchas de peixe validadas produzidas pela etapa de Segmentação de Peixes.

[0042] Os parâmetros intrínsecos, extrínsecos e de distorção dos pares de câmeras estéreo obtidos a partir da etapa de calibração da câmera são necessários para esta etapa. A análise estéreo começa com a aplicação do algoritmo de retificação de imagem nos quadros estéreo correspondentes para produzir pares de imagens não distorcidas e retificadas. A partir dessas imagens, o algoritmo de disparidade estéreo gera um mapa de disparidade. O algoritmo de reconstrução 3D calcula as coordenadas globais 3D de pontos correspondentes a cada pixel no mapa de disparidade. A saída resultante é uma nuvem de pontos. Em seguida, as manchas de peixe validadas são usadas como máscaras de imagem para isolar as imagens de peixes das imagens retificadas. As máscaras de imagem também são aplicadas à nuvem de pontos gerando a nuvem de pontos com peixes mascarados. A nuvem de pontos resultante contém as coordenadas globais 3D correspondentes aos pixels da imagem de cada imagem de peixe isolado.

C. Cálculo do Tamanho do Peixe e da Densidade Populacional

Petição 870190050516, de 29/05/2019, pág. 28/55

14/20 [0043] A etapa de Análise Estéreo produz imagens retificadas e uma nuvem de pontos. Dadas as imagens retificadas e a nuvem de pontos como entradas, o comprimento de cada peixe é calculado a partir da diferença de coordenadas horizontais do pixel entre o focinho e a cauda do peixe. O centroide (em coordenadas globais 3D) de cada peixe é calculado a partir do ponto médio desses dois pontos de imagem.

[0044] Um volume tridimensional com dimensões de 500 cm x 500 cm x 500 cm com origem a 200 cm na frente do ponto médio do par de câmeras estéreo é então definido. Os peixes cujos centroides estão contidos neste volume são contados enquanto os que estão fora dele são ignorados. A densidade populacional é calculada a partir da contagem de peixes dentro do volume.

D. Identificação de Espécies de Peixes [0045] Técnicas convencionais de reconhecimento de padrões para classificação de peixes dependem de recursos artesanais baseados em cor, forma e textura para processamento subsequente por um classifreader. A invenção utiliza uma Rede Neural de Convolução (CNN) para identificação de espécies de peixes que não utiliza recursos artesanais. Em vez disso, representações de características eficientes são aprendidas automaticamente pelo algoritmo.

[0046] Caixas delimitadoras de mancha de peixe obtidas a partir do procedimento de segmentação são usadas para gerar imagens de peixes cortados. Uma coleção dessas imagens para cada espécie é reservada para treinamento do classificador da CNN. Uma vez treinado, o classificador emitirá o rótulo da espécie de peixe e sua probabilidade correspondente, dada uma imagem de entrada cortada.

Petição 870190050516, de 29/05/2019, pág. 29/55

15/20

E. Cálculo de Biomassa [0047] O cálculo da biomassa de peixes baseia-se na seguinte formula que relaciona o comprimento e a massa dos peixes para uma determinada espécie [10]:

massa = aL^b onde Léo comprimento do peixe e a e b são constantes específicas para as espécies.

[0048] A biomassa dos peixes é calculada após os peixes terem sido identificados pelo classificador e seus comprimentos medidos. Isso requer consultar um banco de dados de constantes de peixe. O cálculo é feito para cada peixe obtido na etapa de Identificação de Peixes, cujas coordenadas estão dentro do volume definido.

F. Anotação de Vídeo de Peixe [0049] Uma vez que o tamanho do peixe e a informação da biomassa estão disponíveis, cada peixe é rotulado com seus valores correspondentes. Os valores de densidade populacional também são exibidos juntos com o número máximo de peixes encontrados em todos os quadros de imagem (MaxN). A contagem da distribuição das espécies e a biomassa total com o volume definido são também exibidas. Este procedimento é feito para cada quadro que é então montado de volta como um vídeo anotado para o usuário.

G. Processamento Temporal e Geração de Relatórios [0050] Como os peixes estão constantemente em movimento, o comprimento medido e a biomassa calculada estão mudando constantemente. O rótulo da espécie de peixe também pode se tornar não confiável quando o peixe é fotografado frontalmente. Um algoritmo de coerência entre estruturas

Petição 870190050516, de 29/05/2019, pág. 30/55

16/20 assegura que o tamanho do peixe, valores de biomassa e rótulos de espécies sejam consistentes em todos os quadros para todo o video anotado. Um relatório contendo as informações de tamanho, espécie e biomassa de cada peixe é gerado e armazenado como um arquivo csv para posterior análise pelo usuário. Um quadro da anotação de video resultante é mostrado na Figura 6.

[0051] O equipamento da câmera foi testado em campo para portabilidade e facilidade de uso em mais de 20 locais diferentes em toda a Passagem da Ilha Verde, nas Filipinas. Várias versões da plataforma foram fabricadas depois de levar em conta o feedback dos usuários.

[0052] O protocolo para realizar um censo visual subaquático assistido por câmera estéreo consiste nas seguintes etapas:

1) o mergulhador procura uma área de censo adequada e enrola uma linha de transecção de 50 metros

2) o equipamento da câmera é posicionado na origem da linha de transecção

3) a calibração da câmera é realizada girando lentamente um tabuleiro de xadrez de calibração na frente das câmeras

4) o equipamento é girado lentamente para que as câmeras capturem, por meio de vídeo, informações bentônicas adicionais (cobertura de corais, encostas de recife, complexidade topográfica geral, etc.) para posterior visualização.

5) o equipamento é orientado com os pares de câmeras frontais voltados para a linha de transecção e o mergulhador se afasta do equipamento na direção oposta do transecto, a fim de não perturbar o peixe

Petição 870190050516, de 29/05/2019, pág. 31/55

17/20

6) câmeras coletam dados de video de peixes por 2 a 5 minutos, garantindo que o equipamento fique imóvel mesmo na presença de correntes

7) o mergulhador move o equipamento 5 metros para a frente na direção do transecto

8) as etapas 4 a 8 são repetidas até que todo o transecto de 50 metros seja coberto

9) o equipamento é trazido à superfície.

A. Precisão da Identificação de Peixes [0053] A precisão da identificação dos peixes depende de quão bem o algoritmo de segmentação funciona e da precisão do classifreader da CNN. Nós medimos o desempenho destes algoritmos em 20 clipes de dois minutos a partir de vídeos de peixes retirados de 20 locais de amostragem diferentes na Passagem da Ilha Verde, nas Filipinas. Os vídeos foram obtidos em diferentes profundidades, horários do dia e condições de visibilidade. Um critério de inclusão de pelo menos 10 metros de visibilidade foi imposto. Os desempenhos de segmentação e do classificador são encontrados nas Tabelas I e II.

TABELA I

ALGORITMO DE SEGMENTAÇÃO

Precisão	Recordação
0,71	0, 94

TABELA II

DESEMPENHO DO CLASSIFICADOR DA CNN

Número de Espécies	Precisão
25	96, 1%
182	91,3%

Petição 870190050516, de 29/05/2019, pág. 32/55

18/20 [0054] Os valores de precisão e recordação foram obtidos a partir de 300 imagens segmentadas selecionadas aleatoriamente. O desempenho do classificador foi medido para uma Rede Neural de Convolução de 25 e 182 classes (AlexNet on Caffe ajustado) [11] [12] . O baixo desempenho de precisão do algoritmo de segmentação é devido à presença de partículas de água que são confundidas com manchas de peixe, o que é compensado pela introdução de uma classe não-peixe para a CNN. O tempo médio de processamento em uma máquina Core 17-4790 8 de 3,6 GHz com uma GPU NVIDIA GeForce GTX 980 Ti rodando Matlab R2016a em

Ubuntu 10.04 é de 6,1 horas por minuto de vídeo.

[0055] Observou-se que o desempenho geral degrada em profundidades rasas (~ 5 metros) devido ao efeito de lente das ondas na superfície que confunde o nosso algoritmo de segmentação baseado em movimento. Este efeito é mínimo em profundidades maiores (> 10 metros) e durante condições nubladas.

CONCLUSÃO [0056] A densidade da população de peixes e a estimativa da biomassa são atividades importantes para monitorar a saúde dos ambientes marinhos tropicais. O censo visual subaquático realizado por um mergulhador treinado é o método padrão de monitoramento para quantificar as iniciativas de proteção e reabilitação dos recifes. Um equipamento de câmera estéreo de baixo custo que consiste em um ou mais pares de câmeras é proposto como uma ferramenta alternativa para a execução do censo de alta qualidade de peixes de recife. Os softwares que dependem de técnicas avançadas de análise de vídeo permitem

Petição 870190050516, de 29/05/2019, pág. 33/55

19/20 que mergulhadores regulares obtenham medições de alta qualidade de densidade populacional, de distribuição de espécies e de biomassa mesmo sem conhecimento do domínio da ciência marinha.

[0057] Embora tenham sido ilustradas e descritas concretizações particulares da presente invenção, será evidente para os versados na técnica que várias alterações e modificações podem ser feitas sem sair do espírito da presente invenção. Por conseguinte, pretende-se incluir nas reivindicações anexas todas as alterações e modificações que caiam dentro do escopo da presente invenção.

REFERÊNCIAS [1] V.E. Brock, A preliminary report on a method of estimating reef fish populations, J. Widel. Manag., vol. 18, pp. 297-308, 1954.

[2] Odum, H.T., E.P. Odum, Trophic structure and productivity of a windward coral reef community on Eniwetok Atoll, Marshall Islands, Ecological Monograph, 25: 291-320, 1955.

[3] S. English, C. Wilkinson, V. Baker (eds) . Survey manual for tropical marine resources (2nd ed). Australian Institute of Marine Science, ASEAN-Australia Marine Science Project, 390 pp., 19 97 .

[4] Watson, D., A review of techniques for assessing changes in fish assemblages, University of Western Australia.

[5] J. A. Bohnsack and S. P. Bannerot, A stationary visual census technique for quantitatively assessing community structure of coral reef fishes, NOAA Tech. Rep. NMFS, 41: 15., 1986.

Petição 870190050516, de 29/05/2019, pág. 34/55

2Q/2Q [6] M.A. Samoilys and G. Carlos, Determining methods of underwater visual census for estimating the abundance of coral reef fishes, Environ. Biol. Fish., 57: 289-304, 2000.

[7] N.L. Andrew and B.D. Mapstone, Sampling and the description of the spatial pattern in marine ecology, Oceanogr. Mar. Biol., Ann. Rev., vol. 25, pp 39-90, 1987.

[8] C. Spampinato, D. Giordano, R. Di Salvo, Y.H. Chen-Burger, R.B. Fisher, G. Nadarajan, Automatic Fish Classification for Underwater Species Behavior Understanding, Proc. First ACM International Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Streams, 45-50, 2010.

[9] J.Y. Bouguet and P. Perona, Camera calibration from points and lines in dual-space geometry, Technical Report, California Institute of Technology, 1998.

[10] Y. Letourneur, M. Kulbicki, and P. Labrosse, Lengthweight relationship of fishes from coral reefs and lagoons of New Caledonia - An update Naga, ICLARM quart. (21) :4:39-46, 1998 .

[11] A. Krizhevsky, I. Sutskever, and G. Hinton, ImageNet classification with deep convolutional neural networks, NIPS,

2012 .

[12] Y. Jia, Caffe: an open source convolutional architecture for fast feature embedding, http://caffe.berkeleyvision.org/,

2013 .

Claims

1. Método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, caracterizado pelo fato de que compreende:

capturar videos de peixes subaquáticos com pelo menos uma câmera emparelhada em pelo menos um ponto debaixo d'água, onde as câmeras emparelhadas são pré-calibradas debaixo d'água para determinar seus parâmetros intrínsecos, extrínsecos e de distorção;

converter os vídeos a partir da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos a partir da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels;

processar os primeiro e segundo quadros de imagem por:

detectar imagens de peixes nos primeiro e segundo quadros de imagem;

gerar manchas de peixe a partir das imagens dos peixes;

gerar caixas delimitadoras das manchas de peixe;

não distorcer e retificar os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidos e retificados ao aplicar os parâmetros de calibração;

usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas;

Petição 870190050516, de 29/05/2019, pág. 36/55

2/7 gerar um mapa de disparidade de pixels a partir dos primeiro e segundo pares de imagens retificadas não distorcidas;

calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade para gerar uma nuvem de pontos;

aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos com máscara de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.

computar o comprimento de cada peixe ao determinar a diferença de coordenada horizontal da caixa delimitadora entre os pixels correspondentes ao focinho e à cauda do peixe;

computar a densidade populacional ao definir um volume tridimensional no mapa de disparidade e contar o peixe dentro do referido volume;

identificar uma espécie de peixe por:

pré-coletar imagens de peixes cortados;

extrair características de cor, forma e textura das imagens pré-coletadas de peixes cortados;

atribuir uma espécie de peixe para cada característica extraída de cor, forma e textura;

extrair características de cor, forma e textura das imagens de peixes cortados; e combinar de acordo com a similaridade as características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados;

Petição 870190050516, de 29/05/2019, pág. 37/55

3/7 computar a biomassa de peixe, dados a espécie e o comprimento a partir de uma base de dados de constantes de peixe.

2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a calibração das câmaras emparelhadas compreende:

capturar imagens de um padrão geométrico regular em diferentes posições e orientações;

transferir as imagens do padrão geométrico regular para um computador; e calcular os parâmetros intrínsecos, extrínsecos e de distorção das câmeras emparelhadas usando o método de Bouguet.

3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a captura dos vídeos de peixes subaquáticos compreende:

anexar as câmeras emparelhadas a um equipamento de câmera; colocar o equipamento de câmara em uma extremidade de uma linha de transecção;

capturar pelo menos dois minutos de vídeos em uma extremidade da linha de transecção;

mover o equipamento de câmara para um ponto ao longo da linha de transecção; capturar outro pelo menos dois minutos de vídeos no ponto ao longo da linha de transecção; repetir o movimento do equipamento de câmara ao longo da linha de transecção e capturar os vídeos até que o

equipamento de câmara alcance outra extremidade da linha de transecção

4. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a correspondência de acordo com a similaridade as

Petição 870190050516, de 29/05/2019, pág. 38/55 características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados é feita através de uma rede neural de convolução.

5. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda a etapa de:

computar o número máximo de peixes nos quadros de imagem; e exibir as espécies de peixe, comprimento do peixe, biomassa e valores de densidade populacional e número máximo de peixes nos quadros de imagem.

6. Sistema computadorizado para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, caracterizado pelo fato de que compreende:

pelo menos uma câmara emparelhada que é pré-calibrada para a captura de vídeos subaquáticos;

um equipamento para montar as câmeras emparelhadas;

uma unidade de processamento;

um dispositivo de armazenamento de memória;

um dispositivo de exibição acoplado à unidade de processamento para exibir dados; e um módulo de programa para fornecer instruções para a unidade de processamento, a unidade de processamento responsiva às instruções do módulo de programa, operável para:

converter os vídeos da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos da segunda câmera nas câmeras emparelhadas em

Petição 870190050516, de 29/05/2019, pág. 39/55

5/7 segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels;

processar os primeiros e segundos quadros de imagem por:

detecção de imagens de peixes nos primeiros e segundos quadros de imagem;

gerar manchas de peixe a partir das imagens dos peixes;

gerar caixas delimitadoras das manchas de peixe;

retificar e não distorcer os primeiros e segundos quadros de imagem para produzir primeiros e segundos pares de imagens não distorcidas e retificadas ao aplicar os parâmetros de calibração;

gerar um mapa de disparidade de pixels a partir dos primeiros e segundos pares de imagens retificadas não distorcidas;

aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos mascarada de peixe;

Petição 870190050516, de 29/05/2019, pág. 40/55

6/Ί e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas;

identificar uma espécie de peixe por:

pré-coletar imagens de peixes cortados;

extrair características de cor, forma e textura das imagens de peixes cortados; e combinar as características de cor, forma e textura das imagens de peixes cortados com as características

de cor, forma e textura das imagens pré-coletadas de peixes cortados; e computar a biomassa de peixe, dados a espécie e o comprimento a partir de uma base de dados de constantes de

perxe.

7. Equipamento de câmera para capturar vídeos de peixes subaquáticos caracterizado pelo fato de que compreende:

uma estrutura multifacetada;

Petição 870190050516, de 29/05/2019, pág. 41/55

7/7 um suporte de câmera montado em pelo menos um lado da estrutura;

uma pluralidade de suportes que suportam a estrutura; uma barra manuseável ligada diagonalmente à estrutura;

em que cada suporte é acoplado rotativamente à estrutura com um ângulo ajustável em relação à estrutura e o suporte da câmera é acoplado rotativamente à estrutura com uma inclinação ajustável.

8. Equipamento de câmera de acordo com a reivindicação 7, caracterizado pelo fato de que os suportes se estendem em ângulos oblíquos para estabilizar a estrutura para superfícies inclinadas e/ou irregulares do fundo do mar.