BR112019011080A2 - método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, sistema computadorizado e equipamento de câmera - Google Patents
método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, sistema computadorizado e equipamento de câmera Download PDFInfo
- Publication number
- BR112019011080A2 BR112019011080A2 BR112019011080A BR112019011080A BR112019011080A2 BR 112019011080 A2 BR112019011080 A2 BR 112019011080A2 BR 112019011080 A BR112019011080 A BR 112019011080A BR 112019011080 A BR112019011080 A BR 112019011080A BR 112019011080 A2 BR112019011080 A2 BR 112019011080A2
- Authority
- BR
- Brazil
- Prior art keywords
- fish
- images
- camera
- cut
- videos
- Prior art date
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 185
- 241000894007 species Species 0.000 title claims abstract description 33
- 239000002028 Biomass Substances 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 claims description 17
- 210000004894 snout Anatomy 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 230000001788 irregular Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 14
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 244000132059 Carica parviflora Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/08—Waterproof bodies or housings
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M1/00—Design features of general application
- G06M1/08—Design features of general application for actuating the drive
- G06M1/10—Design features of general application for actuating the drive by electric or magnetic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
um sistema computadorizado de realização de censos de peixes que de outra forma requereria alto nível de conhecimento de domínio e expertise é descrito. mergulhadores com conhecimento mínimo de peixes podem obter medições de alta qualidade de população e distribuição de espécies usando um equipamento de câmera estéreo e um software analisador de vídeo de peixes que foi desenvolvido. o sistema tem dois componentes principais: um equipamento de câmera e software para estimativa do tamanho, densidade e biomassa do peixe. o equipamento da câmera consiste em um suporte simples no qual um a quatro pares de câmeras estéreo são montados para capturar vídeos do piso bentônico por alguns minutos. os vídeos coletados são enviados para um servidor que realiza análise estéreo e reconhecimento de imagem. o software produz clipes de vídeo contendo estimativas do tamanho de peixes, densidade e biodiversidade de espécies e um relatório de registro contendo informações sobre os peixes individuais para posterior análise do usuário final.
Description
MÉTODO PARA ESTIMAR O TAMANHO DE PEIXES, DENSIDADE
POPULACIONAL, DISTRIBUIÇÃO DE ESPÉCIES E BIOMASSA SUBAQUÁTICA,
SISTEMA COMPUTADORIZADO E EQUIPAMENTO DE CÂMERA
CAMPO DA INVENÇÃO [0001] Esta invenção refere-se a um método para estimar o tamanho de peixe, densidade populacional, distribuição de espécies e biomassa subaquática. Um sistema computadorizado para o referido método é particularmente descrito.
ANTECEDENTES DA INVENÇÃO [0002] Métodos de Censo Visual Subaquático (UVC) para dados de medições de densidade de populações de peixes datam da década de 1950 [1] [2] [3] e há muito tempo foram adotados como padrão para o monitoramento de ecossistemas marinhos. Métodos de amostragem alternativos incluem o uso de explosivos ou ichiocidas, anzol e linha, armadilhagem e arrasto [4] . As principais vantagens do UVC em relação a estas técnicas de amostragem são a sua natureza não destrutiva, repetibilidade e o custo-benef1cio.
[0003] Existem dois tipos comuns de técnicas de amostragem de UVC em uso: transectos lineares e contagens de pontos. No método de transectos lineares, um mergulhador nada por uma distância predeterminada (por exemplo, 50 metros) ao longo de uma linha de transecção central (geralmente uma fita métrica de um comprimento predeterminado) enquanto registra as contagens e espécies de peixes que são visíveis dentro de 2,5 metros ou 5 metros de distância em ambos os lados do transecto. No método de contagem de pontos, um mergulhador registra por um tempo fixo (por exemplo, 10 minutos) todos os
Petição 870190050516, de 29/05/2019, pág. 16/55
2/20 peixes visíveis dentro de um círculo com 7,5 metros ou 10
metros de | raio [5] [ 6] . | ||||
[0004] | Os métodos de | UVC sofrem | dos seguintes | vieses que | |
tendem a | subestimar as | medições | da | densidade | dos peixes: |
resposta | comportamental | dos peixes | à | presença do | mergulhador |
(agitação | ou atração), habilidade do | mergulhador | em contar e | ||
identificar com precisão | os peixes, | e | a fadiga do | mergulhador. |
Muitas vezes, o mergulhador é sobrecarregado com a decisão de incluir ou excluir um peixe individual à medida que se desloca para dentro ou para fora da área da amostra. Em casos difíceis, o mergulhador deve decidir se o peixe estava dentro ou fora da área quando foi observado pela primeira vez [7].
[0005] Nos últimos anos, câmeras de vídeo foram implantadas para Captura de vídeo por observatórios submersos em habitats de água e bentônicos. A análise subsequente do vídeo coletado é tediosa e demorada, exigindo intensa concentração humana, que muitas vezes resulta em fadiga humana. As estimativas de tempo gasto para anotação manual e classificação especificam cerca de 15 minutos para cada minuto de vídeo [8]. Portanto, é evidente que a análise assistida por máquina é necessária para simplificar o processo e reduzir os erros.
SUMÁRIO DA INVENÇÃO [0006] A presente invenção é um sistema de Censo Visual Subaquático baseado em estereovisão semi-automatizado. A invenção automatiza o processo de realização do censo de peixes que, de outra forma, requer alto nível de conhecimento de domínio e expertise. Com a invenção, mesmo mergulhadores com conhecimento mínimo de peixes podem obter medições de população e distribuição de espécies de alta qualidade usando
Petição 870190050516, de 29/05/2019, pág. 17/55
3/20 um equipamento de câmera estéreo e um software analisador de video de peixes que desenvolvemos. Um registro visual permanente do censo está disponível para posterior revisão e arquivamento.
[0007] Em particular, a invenção descreve um método para estimar o tamanho de peixe, densidade populacional, distribuição de espécies e biomassa subaquática compreendendo: capturar vídeos de peixes subaquáticos com pelo menos uma câmera emparelhada em pelo menos um ponto debaixo d'água, onde as câmeras emparelhadas são pré-calibradas debaixo d'água para determinar seus parâmetros intrínsecos, extrínsecos e de distorção; converter os vídeos a partir da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos a partir da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels; processar os primeiro e segundo quadros de imagem por: detecção de imagens de peixes nos primeiro e segundo quadros de imagem; gerar manchas de peixe a partir das imagens dos peixes; gerar caixas delimitadoras das manchas de peixe; não distorcer e retificar os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidos e retificados ao aplicar os parâmetros de calibração; usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas; gerar um mapa de disparidade de pixels a partir dos primeiros e segundos pares de imagens retificadas e não distorcidas; calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade
Petição 870190050516, de 29/05/2019, pág. 18/55
4/20 para gerar uma nuvem de pontos; aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos com máscara de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.
[0008] O comprimento de cada peixe é calculado a partir da diferença de coordenadas horizontais da caixa delimitadora entre os pixels correspondentes ao focinho e cauda do peixe e os parâmetros da câmera.
[0009] | A | densidade | populacional | é calculada | definindo | um |
volume | tridimensional | no mapa de | disparidade | e contando | o | |
peixe dentro | do referido volume. | |||||
[0010] | A | espécie de | peixe é identificada por: | pré-coleta | de | |
imagens | de | peixes cortados; extração de características | de |
cor, forma e textura das imagens pré-coletadas dos peixes cortados; atribuição de uma espécie de peixe para cada característica de cor, forma e textura extraida; extração de características de cor, forma e textura das imagens de peixes cortados; e combinação de acordo com a semelhança das características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados;
[0011] A biomassa dos peixes é calculada considerando as espécies e o comprimento de uma base de dados de constantes de peixe.
[0012] A calibração das câmaras emparelhadas é feita preferencialmente ao capturar imagens de um padrão geométrico regular em diferentes posições e orientações; transferir as imagens do padrão geométrico regular para um computador; e
Petição 870190050516, de 29/05/2019, pág. 19/55
5/20 calcular os parâmetros intrínsecos, extrinsecos e de distorção das câmeras emparelhadas usando o método de Bouguet.
[0013] A captação dos vídeos de peixes subaquáticos compreende preferencialmente: anexar as câmeras emparelhadas a um equipamento; colocar o equipamento de câmara em uma extremidade de uma linha de transecção; capturar pelo menos dois minutos de vídeos em uma extremidade da linha de transecção; mover o equipamento de câmara para um ponto na linha de transecção; capturar outro pelo menos dois minutos de vídeos no ponto da linha de transecção; repetir o movimento do equipamento de câmara ao longo da linha de transecção e capturar os vídeos até que o equipamento de câmara alcance outra extremidade da linha de transecção.
[0014] De preferência, o equipamento de câmara para captação de vídeos de peixe subaquático compreende: uma estrutura multifacetada; um suporte de câmera montado em pelo menos um lado da estrutura; uma pluralidade de suportes que suportam a estrutura; uma barra manuseável ligada diagonalmente à estrutura; em que cada suporte é acoplado rotativamente à estrutura com um ângulo ajustável em relação à estrutura e o suporte da câmera é acoplado rotativamente à estrutura com uma inclinação ajustável. Os suportes do equipamento de máquina estendem-se preferencialmente em ângulos oblíquos para estabilizar a estrutura.
[0015] Em uma concretização preferida da invenção, existe um sistema computadorizado para estimar o tamanho do peixe, densidade populacional, distribuição de espécies e biomassa subaquática, o referido sistema compreendendo: pelo menos uma câmara emparelhada que é pré-calibrada para a captura de
Petição 870190050516, de 29/05/2019, pág. 20/55 videos subaquáticos; um equipamento para montar as câmeras emparelhadas; uma unidade de processamento; um dispositivo de armazenamento de memória; um dispositivo de exibição acoplado à unidade de processamento para exibir dados; e um módulo de programa para fornecer instruções para a unidade de processamento, a unidade de processamento responsiva às instruções do módulo de programa, operável para: converter os videos da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os videos da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels; processar os primeiro e segundo quadros de imagem por: detecção de imagens de peixes nos primeiro e segundo quadros de imagem; gerar manchas de peixe a partir das imagens dos peixes; gerar caixas delimitadoras das manchas de peixe; retificar e não distorcer os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidas e retificadas ao aplicar os parâmetros de calibração; usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas; gerar um mapa de disparidade de pixels a partir dos primeiro e segundo pares de imagens retificadas e não distorcidas; calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade para gerar uma nuvem de pontos; aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos mascaradas de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.
Petição 870190050516, de 29/05/2019, pág. 21/55
7/20 [0016] A concretização preferida da invenção é operável para: (a) computar o comprimento de cada peixe ao determinar a diferença de coordenada horizontal da caixa delimitadora entre os pixels correspondentes ao focinho e à cauda do peixe; (b) computar a densidade populacional ao definir um volume tridimensional no mapa de disparidade e contar o peixe dentro do referido volume; (c) identificar uma espécie de peixe por: pré-coletar imagens de peixes cortados; extrair características de cor, forma e textura das imagens précoletadas de peixes cortados; atribuir uma espécie de peixe para cada característica extraída de cor, forma e textura; extrair características de cor, forma e textura das imagens de peixes cortados; e combinar as características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados; e (d) computar a biomassa de peixe, dados a espécie e o comprimento a partir de uma base de dados de constantes de peixe.
[0017] De preferência, o número máximo de peixes em todos os quadros de imagem é adicionalmente calculado, as espécies de peixe, comprimento de peixes, biomassa e valores de densidade populacional e número máximo de peixes são exibidos nos quadros de imagem.
BREVE DESCRIÇÃO DOS DESENHOS [0018] A Fig. 1 mostra o equipamento da câmera subaquático.
[0019] A Fig. 2 mostra a calibração das câmeras subaquáticas.
Petição 870190050516, de 29/05/2019, pág. 22/55
8/20 [0020] A Fig. 3 mostra a coleção de videos subaquáticos usando o equipamento da câmera ao longo da linha de transecção.
[0021] A Figura 4 é um fluxograma dos processos utilizados na invenção.
[0022] A Fig. 5 mostra as manchas de peixe segmentadas geradas pela invenção.
[0023] A Fig. 6 é uma captura de tela de um video anotado resultante da invenção.
[0024] A Fig. 7 é uma vista em perspectiva do equipamento de câmara com câmaras montadas no mesmo.
[0025] A Fig. 7-A é uma vista em perspectiva da estrutura do equipamento de câmara com câmaras montadas no mesmo.
[0026] A Fig. 7-B é uma vista lateral da estrutura do equipamento de câmara com câmaras montadas no mesmo.
DESCRIÇÃO DETALHADA [0027] A invenção tem os seguintes componentes principais: um sistema de equipamento de câmera estéreo com montagens para quatro pares de câmeras e software para calcular o tamanho de
peixes, | densidade populacional e | valores | de | biomassa | a partir |
de gravações de video de peixes. | |||||
[0028] | 0 equipamento da câmera consiste | em uma | estrutura | ||
simples | com quatro suportes nos | quais | um | a quatro | pares de |
câmeras | estéreo são montados | e com | os | eixos da câmera |
orientados paralelamente ao fundo do mar. Durante a coleta de dados, as câmeras capturam videos por alguns minutos (por exemplo, de 2 a 5 minutos) , registrando todos os peixes em seu campo de visão. O equipamento é movido em cinco metros para frente ao longo de uma linha de transecção e mantido ali pelo
Petição 870190050516, de 29/05/2019, pág. 23/55
9/2Q mesmo periodo de tempo. Este processo é repetido até 10 dessas amostras de video serem obtidas. Os videos coletados são enviados para um servidor que realiza análise estéreo e reconhecimento de imagem. O software produz clipes de video contendo estimativas do tamanho de peixes, densidade e biodiversidade de espécies e um relatório de registro para posterior análise do usuário final.
Ά. O equipamento de câmera [0029] Como mostrado nas Figuras 7 a 7-B, o equipamento da câmera (10) consiste em um quadro quadrado superior (12) e um quadro quadrado inferior (14) com uma montagem de suporte de câmera (16) em cada lado da estrutura quadrada superior (12) . Um par de câmeras (18) é montado no suporte da câmera (16).
[0030] A estrutura quadrada inferior (14) é suportada por quatro suportes (20) que se estendem em ângulos oblíquos para: (a) fornecer estabilidade contra as forças causadas por correntes submarinas; e (b) conformar-se com a topografia do fundo do mar desnivelada e ou inclinada. A montagem de suporte da câmara (16) garante que: (a) as câmaras (18) estão separadas por uma distância de linha de base fixa; e (b) os eixos óticos das câmeras (18) são fixados em um ângulo constante para assumir configurações paralelas, convergentes ou fora do eixo.
[0031] A montagem de suporte de câmera (16) é acoplada rotacionalmente à estrutura quadrada superior (12) com uma inclinação ajustável que permite que os pares de câmeras (18) apontem para o horizonte do fundo do mar. Uma barra de comando (22) está diagonalmente ligada, e conecta a estrutura quadrada superior (12) e a estrutura quadrada inferior (14) para
Petição 870190050516, de 29/05/2019, pág. 24/55
10/20 facilitar o transporte subaquático do equipamento da câmera (10) .
[0032] A direção dos pares de câmeras (18) são 0, 90, 280 e 270 graus em relação à direção da linha de transecção. A estrutura quadrada superior (12) eleva os pares de câmeras a uma distância fixa acima do fundo do mar.
[0033] Ao realizar medições, o equipamento da câmera (10) é posicionado a uma altura adequada de modo que os pares de câmeras (18) possam capturar com eficiência vídeos de peixes.
[0034] As câmaras (18) utilizadas são de um a quatro pares de câmeras GoPro Hero 3+ Black ou câmeras Hero 4 Silver equipadas com filtros vermelhos e montadas sobre os suportes. Os ajustes da câmara são como se segue: 24 quadros por segundo, Wide Field de V, 1080p. A distância da linha de base para o par estéreo é fixada em 20 cm. Ao usar quatro pares, os pares estéreos são orientados nas quatro direções cardinais. O equipamento da câmera (10) é posicionado a uma altura adequada de cerca de 1 metro acima do fundo do mar, de modo que os pares de câmeras estéreo possam capturar com eficiência vídeos de peixes. A sincronização do par de câmeras é obtida através da ativação simultânea das câmeras usando o controle remoto WiFi. Antes da implantação, um flash LED de smartphone também é mostrado para as câmeras para fornecer sugestões adicionais de sincronização.
B. Calibração da Câmera Estéreo Subaquática [0035] O objetivo da calibração da câmera é determinar os parâmetros intrínsecos, extrínsecos e de distorção de cada par de câmeras que será usado para análise estéreo. Devido à diferença do índice de refração da água e do ar, essa etapa de
Petição 870190050516, de 29/05/2019, pág. 25/55
11/20 calibração deve ser feita embaixo d'água. Um mergulhador posiciona, enquanto estiver embaixo d'água, um padrão de calibração de câmera xadrez na frente das câmeras estéreo para capturar várias imagens do padrão em diferentes orientações e posições (Figura 2) . A calibração para todos os pares normalmente leva cerca de 1 a 2 minutos.
[0036] Uma vez que o equipamento da câmera (10) é trazido de volta à superfície no final do processo de coleta de dados, o vídeo de calibração é transferido para um computador. Um algoritmo de calibração de câmera analisa imagens representativas e gera os parâmetros da câmera para cada par de câmeras estéreo. Os parâmetros intrínsecos, extrínsecos e de distorção das câmaras emparelhadas são então calculados usando fórmulas convencionais conhecidas na técnica, incluindo o método de Bouguet [9].
C. Coleta de Dados de Vídeo de Peixe [0037] O equipamento da câmera (10) é colocado na origem da linha de transecção, enquanto o vídeo do peixe é coletado por um período de 2 minutos ou mais (Figura 3) . Para minimizar a perturbação aos peixes na vizinhança do equipamento, o mergulhador se afasta do equipamento da câmera (10) enquanto as câmeras estão gravando amostras de vídeo de peixes. Este processo é repetido a cada 5 metros, movendo ao longo da linha de transecção até que todo o transecto de 50 metros seja coberto. Quando o processo de coleta de dados termina, a plataforma da câmera (10) é trazida de volta à superfície e os arquivos de vídeo coletados são transferidos para um computador para análise. Todos os vídeos coletados são
Petição 870190050516, de 29/05/2019, pág. 26/55
12/20 convertidos em quadros de imagem para processamento subsequente.
SOFTWARE DE ANÁLISE DE VÍDEO [0038] O processamento de video de peixe começa com a conversão de videos coletados em quadros de imagem nos quais um algoritmo de segmentação de peixes é aplicado para produzir manchas de peixe que são a base da contagem de peixes. A retificação de imagem é aplicada nos quadros estéreos correspondentes para produzir pares de imagens retificados não distorcidos, nos quais um mapa de disparidade e, subsequentemente, uma nuvem de pontos são gerados. As coordenadas 3D de cada peixe detectado são calculadas a partir da nuvem de pontos. Um volume tridimensional na frente do ponto médio do par de câmera estéreo é então definido. Os peixes cujos centroides estão contidos neste volume são contados enquanto que os que estão fora dele são ignorados. A densidade populacional é calculada a partir da contagem de peixes dentro do volume. Para identificação das espécies, utilizamos uma Rede Neural Convolucional [10] para realizar a classificação das imagens dos peixes. A biomassa dos peixes é estimada através de uma fórmula que relaciona o comprimento do peixe e a biomassa.
[0039] O Analisador de Video calcula o tamanho do peixe, densidade da população e valores de biomassa a partir de videos de peixes capturados pelas câmeras estéreo através das seguintes etapas de processamento (veja a Figura 4):
A. Segmentação de Peixe [0040] A segmentação de peixe é uma etapa de processamento de imagem que isola o primeiro plano de peixe da água azul e o
Petição 870190050516, de 29/05/2019, pág. 27/55
13/20 fundo bentônico (Figura 5) . Um algoritmo de segmentação de peixes baseado em movimento gera manchas de peixe a partir dos quadros de imagem que são validados e subsequentemente contados pelo algoritmo de contagem de peixes. Caixas de delimitação são geradas a partir dessas manchas para uso posterior.
B. Análise Estéreo [0041] O objetivo da etapa de análise estéreo é calcular as coordenadas 3D do centroide da imagem e do tamanho de cada peixe a partir das manchas de peixe validadas produzidas pela etapa de Segmentação de Peixes.
[0042] Os parâmetros intrínsecos, extrínsecos e de distorção dos pares de câmeras estéreo obtidos a partir da etapa de calibração da câmera são necessários para esta etapa. A análise estéreo começa com a aplicação do algoritmo de retificação de imagem nos quadros estéreo correspondentes para produzir pares de imagens não distorcidas e retificadas. A partir dessas imagens, o algoritmo de disparidade estéreo gera um mapa de disparidade. O algoritmo de reconstrução 3D calcula as coordenadas globais 3D de pontos correspondentes a cada pixel no mapa de disparidade. A saída resultante é uma nuvem de pontos. Em seguida, as manchas de peixe validadas são usadas como máscaras de imagem para isolar as imagens de peixes das imagens retificadas. As máscaras de imagem também são aplicadas à nuvem de pontos gerando a nuvem de pontos com peixes mascarados. A nuvem de pontos resultante contém as coordenadas globais 3D correspondentes aos pixels da imagem de cada imagem de peixe isolado.
C. Cálculo do Tamanho do Peixe e da Densidade Populacional
Petição 870190050516, de 29/05/2019, pág. 28/55
14/20 [0043] A etapa de Análise Estéreo produz imagens retificadas e uma nuvem de pontos. Dadas as imagens retificadas e a nuvem de pontos como entradas, o comprimento de cada peixe é calculado a partir da diferença de coordenadas horizontais do pixel entre o focinho e a cauda do peixe. O centroide (em coordenadas globais 3D) de cada peixe é calculado a partir do ponto médio desses dois pontos de imagem.
[0044] Um volume tridimensional com dimensões de 500 cm x 500 cm x 500 cm com origem a 200 cm na frente do ponto médio do par de câmeras estéreo é então definido. Os peixes cujos centroides estão contidos neste volume são contados enquanto os que estão fora dele são ignorados. A densidade populacional é calculada a partir da contagem de peixes dentro do volume.
D. Identificação de Espécies de Peixes [0045] Técnicas convencionais de reconhecimento de padrões para classificação de peixes dependem de recursos artesanais baseados em cor, forma e textura para processamento subsequente por um classifreader. A invenção utiliza uma Rede Neural de Convolução (CNN) para identificação de espécies de peixes que não utiliza recursos artesanais. Em vez disso, representações de características eficientes são aprendidas automaticamente pelo algoritmo.
[0046] Caixas delimitadoras de mancha de peixe obtidas a partir do procedimento de segmentação são usadas para gerar imagens de peixes cortados. Uma coleção dessas imagens para cada espécie é reservada para treinamento do classificador da CNN. Uma vez treinado, o classificador emitirá o rótulo da espécie de peixe e sua probabilidade correspondente, dada uma imagem de entrada cortada.
Petição 870190050516, de 29/05/2019, pág. 29/55
15/20
E. Cálculo de Biomassa [0047] O cálculo da biomassa de peixes baseia-se na seguinte formula que relaciona o comprimento e a massa dos peixes para uma determinada espécie [10]:
massa = aLb onde Léo comprimento do peixe e a e b são constantes específicas para as espécies.
[0048] A biomassa dos peixes é calculada após os peixes terem sido identificados pelo classificador e seus comprimentos medidos. Isso requer consultar um banco de dados de constantes de peixe. O cálculo é feito para cada peixe obtido na etapa de Identificação de Peixes, cujas coordenadas estão dentro do volume definido.
F. Anotação de Vídeo de Peixe [0049] Uma vez que o tamanho do peixe e a informação da biomassa estão disponíveis, cada peixe é rotulado com seus valores correspondentes. Os valores de densidade populacional também são exibidos juntos com o número máximo de peixes encontrados em todos os quadros de imagem (MaxN). A contagem da distribuição das espécies e a biomassa total com o volume definido são também exibidas. Este procedimento é feito para cada quadro que é então montado de volta como um vídeo anotado para o usuário.
G. Processamento Temporal e Geração de Relatórios [0050] Como os peixes estão constantemente em movimento, o comprimento medido e a biomassa calculada estão mudando constantemente. O rótulo da espécie de peixe também pode se tornar não confiável quando o peixe é fotografado frontalmente. Um algoritmo de coerência entre estruturas
Petição 870190050516, de 29/05/2019, pág. 30/55
16/20 assegura que o tamanho do peixe, valores de biomassa e rótulos de espécies sejam consistentes em todos os quadros para todo o video anotado. Um relatório contendo as informações de tamanho, espécie e biomassa de cada peixe é gerado e armazenado como um arquivo csv para posterior análise pelo usuário. Um quadro da anotação de video resultante é mostrado na Figura 6.
[0051] O equipamento da câmera foi testado em campo para portabilidade e facilidade de uso em mais de 20 locais diferentes em toda a Passagem da Ilha Verde, nas Filipinas. Várias versões da plataforma foram fabricadas depois de levar em conta o feedback dos usuários.
[0052] O protocolo para realizar um censo visual subaquático assistido por câmera estéreo consiste nas seguintes etapas:
1) o mergulhador procura uma área de censo adequada e enrola uma linha de transecção de 50 metros
2) o equipamento da câmera é posicionado na origem da linha de transecção
3) a calibração da câmera é realizada girando lentamente um tabuleiro de xadrez de calibração na frente das câmeras
4) o equipamento é girado lentamente para que as câmeras capturem, por meio de vídeo, informações bentônicas adicionais (cobertura de corais, encostas de recife, complexidade topográfica geral, etc.) para posterior visualização.
5) o equipamento é orientado com os pares de câmeras frontais voltados para a linha de transecção e o mergulhador se afasta do equipamento na direção oposta do transecto, a fim de não perturbar o peixe
Petição 870190050516, de 29/05/2019, pág. 31/55
17/20
6) câmeras coletam dados de video de peixes por 2 a 5 minutos, garantindo que o equipamento fique imóvel mesmo na presença de correntes
7) o mergulhador move o equipamento 5 metros para a frente na direção do transecto
8) as etapas 4 a 8 são repetidas até que todo o transecto de 50 metros seja coberto
9) o equipamento é trazido à superfície.
A. Precisão da Identificação de Peixes [0053] A precisão da identificação dos peixes depende de quão bem o algoritmo de segmentação funciona e da precisão do classifreader da CNN. Nós medimos o desempenho destes algoritmos em 20 clipes de dois minutos a partir de vídeos de peixes retirados de 20 locais de amostragem diferentes na Passagem da Ilha Verde, nas Filipinas. Os vídeos foram obtidos em diferentes profundidades, horários do dia e condições de visibilidade. Um critério de inclusão de pelo menos 10 metros de visibilidade foi imposto. Os desempenhos de segmentação e do classificador são encontrados nas Tabelas I e II.
TABELA I
ALGORITMO DE SEGMENTAÇÃO
Precisão | Recordação |
0,71 | 0, 94 |
TABELA II
DESEMPENHO DO CLASSIFICADOR DA CNN
Número de Espécies | Precisão |
25 | 96, 1% |
182 | 91,3% |
Petição 870190050516, de 29/05/2019, pág. 32/55
18/20 [0054] Os valores de precisão e recordação foram obtidos a partir de 300 imagens segmentadas selecionadas aleatoriamente. O desempenho do classificador foi medido para uma Rede Neural de Convolução de 25 e 182 classes (AlexNet on Caffe ajustado) [11] [12] . O baixo desempenho de precisão do algoritmo de segmentação é devido à presença de partículas de água que são confundidas com manchas de peixe, o que é compensado pela introdução de uma classe não-peixe para a CNN. O tempo médio de processamento em uma máquina Core 17-4790 8 de 3,6 GHz com uma GPU NVIDIA GeForce GTX 980 Ti rodando Matlab R2016a em
Ubuntu 10.04 é de 6,1 horas por minuto de vídeo.
[0055] Observou-se que o desempenho geral degrada em profundidades rasas (~ 5 metros) devido ao efeito de lente das ondas na superfície que confunde o nosso algoritmo de segmentação baseado em movimento. Este efeito é mínimo em profundidades maiores (> 10 metros) e durante condições nubladas.
CONCLUSÃO [0056] A densidade da população de peixes e a estimativa da biomassa são atividades importantes para monitorar a saúde dos ambientes marinhos tropicais. O censo visual subaquático realizado por um mergulhador treinado é o método padrão de monitoramento para quantificar as iniciativas de proteção e reabilitação dos recifes. Um equipamento de câmera estéreo de baixo custo que consiste em um ou mais pares de câmeras é proposto como uma ferramenta alternativa para a execução do censo de alta qualidade de peixes de recife. Os softwares que dependem de técnicas avançadas de análise de vídeo permitem
Petição 870190050516, de 29/05/2019, pág. 33/55
19/20 que mergulhadores regulares obtenham medições de alta qualidade de densidade populacional, de distribuição de espécies e de biomassa mesmo sem conhecimento do domínio da ciência marinha.
[0057] Embora tenham sido ilustradas e descritas concretizações particulares da presente invenção, será evidente para os versados na técnica que várias alterações e modificações podem ser feitas sem sair do espírito da presente invenção. Por conseguinte, pretende-se incluir nas reivindicações anexas todas as alterações e modificações que caiam dentro do escopo da presente invenção.
REFERÊNCIAS [1] V.E. Brock, A preliminary report on a method of estimating reef fish populations, J. Widel. Manag., vol. 18, pp. 297-308, 1954.
[2] Odum, H.T., E.P. Odum, Trophic structure and productivity of a windward coral reef community on Eniwetok Atoll, Marshall Islands, Ecological Monograph, 25: 291-320, 1955.
[3] S. English, C. Wilkinson, V. Baker (eds) . Survey manual for tropical marine resources (2nd ed). Australian Institute of Marine Science, ASEAN-Australia Marine Science Project, 390 pp., 19 97 .
[4] Watson, D., A review of techniques for assessing changes in fish assemblages, University of Western Australia.
[5] J. A. Bohnsack and S. P. Bannerot, A stationary visual census technique for quantitatively assessing community structure of coral reef fishes, NOAA Tech. Rep. NMFS, 41: 15., 1986.
Petição 870190050516, de 29/05/2019, pág. 34/55
2Q/2Q [6] M.A. Samoilys and G. Carlos, Determining methods of underwater visual census for estimating the abundance of coral reef fishes, Environ. Biol. Fish., 57: 289-304, 2000.
[7] N.L. Andrew and B.D. Mapstone, Sampling and the description of the spatial pattern in marine ecology, Oceanogr. Mar. Biol., Ann. Rev., vol. 25, pp 39-90, 1987.
[8] C. Spampinato, D. Giordano, R. Di Salvo, Y.H. Chen-Burger, R.B. Fisher, G. Nadarajan, Automatic Fish Classification for Underwater Species Behavior Understanding, Proc. First ACM International Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Streams, 45-50, 2010.
[9] J.Y. Bouguet and P. Perona, Camera calibration from points and lines in dual-space geometry, Technical Report, California Institute of Technology, 1998.
[10] Y. Letourneur, M. Kulbicki, and P. Labrosse, Lengthweight relationship of fishes from coral reefs and lagoons of New Caledonia - An update Naga, ICLARM quart. (21) :4:39-46, 1998 .
[11] A. Krizhevsky, I. Sutskever, and G. Hinton, ImageNet classification with deep convolutional neural networks, NIPS,
2012 .
[12] Y. Jia, Caffe: an open source convolutional architecture for fast feature embedding, http://caffe.berkeleyvision.org/,
2013 .
Claims (8)
1. Método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, caracterizado pelo fato de que compreende:
capturar videos de peixes subaquáticos com pelo menos uma câmera emparelhada em pelo menos um ponto debaixo d'água, onde as câmeras emparelhadas são pré-calibradas debaixo d'água para determinar seus parâmetros intrínsecos, extrínsecos e de distorção;
converter os vídeos a partir da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos a partir da segunda câmera nas câmeras emparelhadas em segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels;
processar os primeiro e segundo quadros de imagem por:
detectar imagens de peixes nos primeiro e segundo quadros de imagem;
gerar manchas de peixe a partir das imagens dos peixes;
gerar caixas delimitadoras das manchas de peixe;
não distorcer e retificar os primeiro e segundo quadros de imagem para produzir primeiro e segundo pares de imagens não distorcidos e retificados ao aplicar os parâmetros de calibração;
usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas;
Petição 870190050516, de 29/05/2019, pág. 36/55
2/7 gerar um mapa de disparidade de pixels a partir dos primeiro e segundo pares de imagens retificadas não distorcidas;
calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade para gerar uma nuvem de pontos;
aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos com máscara de peixe; e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas.
computar o comprimento de cada peixe ao determinar a diferença de coordenada horizontal da caixa delimitadora entre os pixels correspondentes ao focinho e à cauda do peixe;
computar a densidade populacional ao definir um volume tridimensional no mapa de disparidade e contar o peixe dentro do referido volume;
identificar uma espécie de peixe por:
pré-coletar imagens de peixes cortados;
extrair características de cor, forma e textura das imagens pré-coletadas de peixes cortados;
atribuir uma espécie de peixe para cada característica extraída de cor, forma e textura;
extrair características de cor, forma e textura das imagens de peixes cortados; e combinar de acordo com a similaridade as características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados;
Petição 870190050516, de 29/05/2019, pág. 37/55
3/7 computar a biomassa de peixe, dados a espécie e o comprimento a partir de uma base de dados de constantes de peixe.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a calibração das câmaras emparelhadas compreende:
capturar imagens de um padrão geométrico regular em diferentes posições e orientações;
transferir as imagens do padrão geométrico regular para um computador; e calcular os parâmetros intrínsecos, extrínsecos e de distorção das câmeras emparelhadas usando o método de Bouguet.
3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a captura dos vídeos de peixes subaquáticos compreende:
anexar as câmeras emparelhadas a um equipamento de câmera; colocar o equipamento de câmara em uma extremidade de uma linha de transecção;
capturar pelo menos dois minutos de vídeos em uma extremidade da linha de transecção;
equipamento de câmara alcance outra extremidade da linha de transecção
4. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a correspondência de acordo com a similaridade as
Petição 870190050516, de 29/05/2019, pág. 38/55 características de cor, forma e textura das imagens de peixes cortados com as características de cor, forma e textura das imagens pré-coletadas de peixes cortados é feita através de uma rede neural de convolução.
5. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda a etapa de:
computar o número máximo de peixes nos quadros de imagem; e exibir as espécies de peixe, comprimento do peixe, biomassa e valores de densidade populacional e número máximo de peixes nos quadros de imagem.
6. Sistema computadorizado para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, caracterizado pelo fato de que compreende:
pelo menos uma câmara emparelhada que é pré-calibrada para a captura de vídeos subaquáticos;
um equipamento para montar as câmeras emparelhadas;
uma unidade de processamento;
um dispositivo de armazenamento de memória;
um dispositivo de exibição acoplado à unidade de processamento para exibir dados; e um módulo de programa para fornecer instruções para a unidade de processamento, a unidade de processamento responsiva às instruções do módulo de programa, operável para:
converter os vídeos da primeira câmera nas câmeras emparelhadas em primeiros quadros de imagem e os vídeos da segunda câmera nas câmeras emparelhadas em
Petição 870190050516, de 29/05/2019, pág. 39/55
5/7 segundos quadros de imagem, cada quadro de imagem compreendendo uma multiplicidade de pixels;
processar os primeiros e segundos quadros de imagem por:
detecção de imagens de peixes nos primeiros e segundos quadros de imagem;
gerar manchas de peixe a partir das imagens dos peixes;
gerar caixas delimitadoras das manchas de peixe;
retificar e não distorcer os primeiros e segundos quadros de imagem para produzir primeiros e segundos pares de imagens não distorcidas e retificadas ao aplicar os parâmetros de calibração;
usar as manchas de peixe como máscaras de imagem para isolar imagens de peixes das imagens retificadas não distorcidas e produzir imagens de peixes cortadas;
gerar um mapa de disparidade de pixels a partir dos primeiros e segundos pares de imagens retificadas não distorcidas;
calcular coordenadas globais tridimensionais de pontos correspondentes a cada pixel no mapa de disparidade para gerar uma nuvem de pontos;
aplicar as máscaras de imagem à nuvem de pontos para produzir uma nuvem de pontos mascarada de peixe;
Petição 870190050516, de 29/05/2019, pág. 40/55
6/Ί e computar coordenadas de pixel das caixas delimitadoras de manchas de peixe a partir das imagens de máscara de peixe cortadas;
computar o comprimento de cada peixe ao determinar a diferença de coordenada horizontal da caixa delimitadora entre os pixels correspondentes ao focinho e à cauda do peixe;
computar a densidade populacional ao definir um volume tridimensional no mapa de disparidade e contar o peixe dentro do referido volume;
identificar uma espécie de peixe por:
pré-coletar imagens de peixes cortados;
extrair características de cor, forma e textura das imagens pré-coletadas de peixes cortados;
atribuir uma espécie de peixe para cada característica extraída de cor, forma e textura;
extrair características de cor, forma e textura das imagens de peixes cortados; e combinar as características de cor, forma e textura das imagens de peixes cortados com as características
perxe.
7. Equipamento de câmera para capturar vídeos de peixes subaquáticos caracterizado pelo fato de que compreende:
uma estrutura multifacetada;
Petição 870190050516, de 29/05/2019, pág. 41/55
7/7 um suporte de câmera montado em pelo menos um lado da estrutura;
uma pluralidade de suportes que suportam a estrutura; uma barra manuseável ligada diagonalmente à estrutura;
em que cada suporte é acoplado rotativamente à estrutura com um ângulo ajustável em relação à estrutura e o suporte da câmera é acoplado rotativamente à estrutura com uma inclinação ajustável.
8. Equipamento de câmera de acordo com a reivindicação 7, caracterizado pelo fato de que os suportes se estendem em ângulos oblíquos para estabilizar a estrutura para superfícies inclinadas e/ou irregulares do fundo do mar.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PH12016000469A PH12016000469A1 (en) | 2016-12-15 | 2016-12-15 | Estimating fish size, population density, species distribution and biomass |
PCT/PH2017/000010 WO2018111124A2 (en) | 2016-12-15 | 2017-12-13 | Estimating fish size, population density, species distribution and biomass |
Publications (2)
Publication Number | Publication Date |
---|---|
BR112019011080A2 true BR112019011080A2 (pt) | 2019-10-01 |
BR112019011080A8 BR112019011080A8 (pt) | 2023-04-04 |
Family
ID=62142696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR112019011080A BR112019011080A8 (pt) | 2016-12-15 | 2017-12-13 | Método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, sistema computadorizado e equipamento de câmera |
Country Status (5)
Country | Link |
---|---|
US (1) | US11612148B2 (pt) |
BR (1) | BR112019011080A8 (pt) |
MX (1) | MX2019006944A (pt) |
PH (1) | PH12016000469A1 (pt) |
WO (1) | WO2018111124A2 (pt) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020023467A1 (en) * | 2018-07-24 | 2020-01-30 | Aquabyte, Inc. | Unique identification of freely swimming fish in an aquaculture environment |
EP3843542B1 (en) * | 2018-08-27 | 2024-05-15 | Aquabyte, Inc. | Optimal feeding based on signals in an aquaculture environment |
WO2020046524A1 (en) * | 2018-08-27 | 2020-03-05 | Aquabyte, Inc. | Automatic feed pellet monitoring based on camera footage in an aquaculture environment |
US20200296925A1 (en) * | 2018-11-30 | 2020-09-24 | Andrew Bennett | Device for, system for, method of identifying and capturing information about items (fish tagging) |
CN109784378A (zh) * | 2018-12-27 | 2019-05-21 | 南京芊玥机器人科技有限公司 | 一种基于机器视觉的水下捕鱼方法 |
ES2786798B2 (es) * | 2019-04-11 | 2022-02-08 | Univ Oviedo | Sistema de estimación de biomasa en acuicultura basado en sensores ópticos y redes neuronales |
NO347348B1 (no) * | 2019-06-19 | 2023-09-25 | Subc3D As | System og framgangsmåte for avbildning og telling av eksterne strukturer på en fisk |
CN110298856B (zh) * | 2019-06-19 | 2023-03-21 | 江苏农林职业技术学院 | 一种鱼体长度非接触式估算方法 |
CN110321868A (zh) | 2019-07-10 | 2019-10-11 | 杭州睿琪软件有限公司 | 对象识别及显示的方法及系统 |
JP7237789B2 (ja) * | 2019-09-27 | 2023-03-13 | ヤンマーパワーテクノロジー株式会社 | 魚計数システム、魚計数方法及びプログラム |
US11120280B2 (en) * | 2019-11-15 | 2021-09-14 | Argo AI, LLC | Geometry-aware instance segmentation in stereo image capture processes |
CN111406693A (zh) * | 2020-04-23 | 2020-07-14 | 上海海洋大学 | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 |
EP3940642A1 (en) * | 2020-07-16 | 2022-01-19 | Furuno Electric Co., Ltd. | Underwater 3d reconstruction device |
US11516997B2 (en) * | 2020-11-24 | 2022-12-06 | X Development Llc | Escape detection and mitigation for aquaculture |
US11864537B2 (en) | 2021-03-07 | 2024-01-09 | ReelData Inc. | AI based feeding system and method for land-based fish farms |
WO2022258802A1 (en) * | 2021-06-11 | 2022-12-15 | Monitorfish Gmbh | Sensor apparatus and sensor system for fish farming |
CN113854221B (zh) * | 2021-10-29 | 2022-11-18 | 广州市蓝得生命科技有限公司 | 智能喂食控制系统 |
CN114037737B (zh) * | 2021-11-16 | 2022-08-09 | 浙江大学 | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 |
US11842473B2 (en) * | 2021-12-02 | 2023-12-12 | X Development Llc | Underwater camera biomass prediction aggregation |
CN115624007A (zh) * | 2022-07-08 | 2023-01-20 | 珠海科艺普检测科技有限公司 | 一种基于生物信息技术的智能虾苗检测方法 |
CN116576782B (zh) * | 2023-03-24 | 2024-02-06 | 青岛励图高科信息技术有限公司 | 一种水下鱼体长度测量方法 |
CN116758580A (zh) * | 2023-05-05 | 2023-09-15 | 中国地质大学(北京) | 底栖生物识别方法、装置、电子设备及存储介质 |
CN117223666A (zh) * | 2023-09-15 | 2023-12-15 | 中国科学院水生生物研究所 | 一种水产养殖环境精准投喂智能系统开发平台及使用方法 |
CN118135612A (zh) * | 2024-05-06 | 2024-06-04 | 浙江大学 | 一种耦合体表纹理特征和几何特征的鱼脸识别方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589046B2 (ja) * | 1993-11-01 | 1997-03-12 | 財団法人ダム水源地環境整備センター | 魚数計測方法と装置および移動体計数方法 |
-
2016
- 2016-12-15 PH PH12016000469A patent/PH12016000469A1/en unknown
-
2017
- 2017-12-13 WO PCT/PH2017/000010 patent/WO2018111124A2/en active Application Filing
- 2017-12-13 BR BR112019011080A patent/BR112019011080A8/pt unknown
- 2017-12-13 MX MX2019006944A patent/MX2019006944A/es unknown
- 2017-12-13 US US16/501,738 patent/US11612148B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
MX2019006944A (es) | 2019-08-16 |
WO2018111124A3 (en) | 2018-09-13 |
PH12016000469A1 (en) | 2018-06-25 |
BR112019011080A8 (pt) | 2023-04-04 |
US20210289759A1 (en) | 2021-09-23 |
WO2018111124A2 (en) | 2018-06-21 |
US11612148B2 (en) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BR112019011080A2 (pt) | método para estimar o tamanho de peixes, densidade populacional, distribuição de espécies e biomassa subaquática, sistema computadorizado e equipamento de câmera | |
CN104482860B (zh) | 鱼类形态参数自动测量装置和方法 | |
Lee et al. | Contour matching for a fish recognition and migration-monitoring system | |
ES2539118T3 (es) | Método para el análisis de imagen digital del maíz | |
Stobart et al. | A baited underwater video technique to assess shallow-water Mediterranean fish assemblages: Methodological evaluation | |
Englund et al. | Evaluation of digital and film hemispherical photography and spherical densiometry for measuring forest light environments | |
JP2021060421A (ja) | 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム | |
CN105636505A (zh) | 用于获得对象的生命体征的设备和方法 | |
TW200945252A (en) | Registration of 3D point cloud data using eigenanalysis | |
CN103630091B (zh) | 一种基于激光与图像处理技术的叶面积测量方法 | |
CN109767443A (zh) | 一种布料瑕疵数据收集方法及装置 | |
CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
JP7518490B2 (ja) | 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体 | |
CN103096117B (zh) | 视频噪声检测方法及装置 | |
Yu et al. | An intelligent measurement scheme for basic characters of fish in smart aquaculture | |
Garner et al. | Estimating reef fish size distributions with a mini remotely operated vehicle-integrated stereo camera system | |
CN204202563U (zh) | 鱼类形态参数自动测量装置 | |
KR102013219B1 (ko) | 환경정보 빅데이터 수집 및 분석 시스템 | |
CN113838121A (zh) | 基于图像识别的烟气层高度检测方法及检测系统 | |
ES2811263T3 (es) | Aparato óptico y método para contar organismos vivos en un flujo | |
Naval et al. | FishDrop: Estimation of reef fish population density and biomass using stereo cameras | |
Khan et al. | An outdoor 3-D visual tracking system for the study of spatial navigation and memory in rhesus monkeys | |
Barata et al. | Activity pattern and behavior of an endemic bromeliad frog observed through camera trapping | |
JP2019114923A (ja) | 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 | |
Neal et al. | Methods and measurement variance for field estimations of coral colony planar area using underwater photographs and semi-automated image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] | ||
B15K | Others concerning applications: alteration of classification |
Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G06T 7/593 , G06T 7/80 , G06T 7/60 Ipc: G06T 7/593 (2017.01), G06T 7/60 (2017.01), G06T 7/ |