FR3030837A1

FR3030837A1 - METHOD FOR COUNTING AQUATIC SPECIES

Info

Publication number: FR3030837A1
Application number: FR1462759A
Authority: FR
Inventors: Germain Boussarie; Nils Teichert; Dominique Ponton; Raphael Lagarde
Original assignee: Ass Reunionnaise Pour Le Dev De L'aquaculture; Inst De Rech Pour Le Dev; Ecole Normale Superieure de Lyon; Institut de Recherche pour le Developpement IRD
Current assignee: Ass Reunionnaise Pour Le Dev De L'aquaculture; Inst De Rech Pour Le Dev; Ecole Normale Superieure de Lyon; Institut de Recherche pour le Developpement IRD
Priority date: 2014-12-18
Filing date: 2014-12-18
Publication date: 2016-06-24
Anticipated expiration: 2034-12-18
Also published as: FR3030837B1; WO2016098044A1

Abstract

L'invention concerne un procédé de comptage d'espèces aquatiques traversant un caisson 1, 2, 3 muni d'une caméra 7 pourvue d'un champ de vision, procédé qui comprend une étape d'acquisition d'images en provenance de ladite caméra, ainsi qu'une étape de mesure durant laquelle les objets figurant sur une image sont mesurés. Le procédé est remarquable en ce qu'il comprend de plus : - une étape de repérage pour associer chaque objet à sa longueur, - une étape de suivi pour suivre la progression d'un objet dans ledit caisson au moyen d'images successives, - une étape de comptage pour incrémenter un compteur d'une unité lorsqu'un objet a quitté le champ de la caméra 7, autrement dit lorsqu'il n'apparaît plus sur l'image courante.The invention relates to a method for counting aquatic species passing through a caisson 1, 2, 3 equipped with a camera 7 provided with a field of view, which method comprises a step of acquiring images from said camera , as well as a measurement step during which the objects appearing on an image are measured. The method is remarkable in that it further comprises: a tracking step for associating each object with its length; a tracking step for following the progression of an object in said box by means of successive images; a counting step for incrementing a counter by one unit when an object has left the field of the camera 7, ie when it no longer appears on the current image.

Description

PROCEDE DE COMPTAGE D'ESPECES AQUATIQUES La présente invention concerne un procédé de comptage d'espèces aquatiques.The present invention relates to a method for counting aquatic species.

Le domaine de l'invention est celui de l'étude des espèces aquatiques, en particulier celui des espèces benthiques dans les cours-d'eau. Les méthodes conventionnelles pour surveiller les migrations de poissons diadromes des côtes maritimes vers les eaux douces sont essentiellement fondées sur des échantillonnages effectués de manière io ponctuelle dans le temps et l'espace à l'aide de techniques qui ne s'avèrent pas optimales pour l'étude des déplacements de poissons dans les rivières. La vidéo sous-marine est reconnue depuis longtemps comme une bonne alternative mais cette approche demande habituellement un travail important pour extraire les informations à partir des séquences vidéo. 15 L'étude des flux migratoires requiert en premier le comptage des espèces aquatiques. La présente invention a ainsi pour objet un procédé vidéo de comptage d'espèces aquatiques. La présente invention a en conséquence pour objet un 20 procédé de comptage d'espèces aquatiques traversant un caisson muni d'une caméra pourvue d'un champ de vision, comprenant une étape d'acquisition d'images en provenance de la caméra, une étape de mesure durant laquelle les objets figurant sur une image sont mesurés ; procédé remarquable en ce qu'il comprend de plus : 25 une étape de repérage pour associer chaque objet à sa longueur, une étape de suivi pour suivre la progression d'un objet dans le caisson au moyen d'images successives, une étape de comptage pour incrémenter un compteur d'une unité lorsqu'un objet a quitté le champ de la caméra, autrement dit lorsqu'il 30 n'apparaît plus sur l'image courante.The field of the invention is that of the study of aquatic species, in particular that of benthic species in water courses. Conventional methods for monitoring the diadromous fish migrations from sea to fresh waters are based primarily on spot sampling in time and space using techniques that are not optimal for fisheries. study of fish movements in rivers. Underwater video has long been recognized as a good alternative but this approach usually requires a lot of work to extract the information from the video footage. The study of migratory flows first requires the counting of aquatic species. The present invention thus relates to a video method for counting aquatic species. The present invention therefore relates to a method of counting aquatic species passing through a box provided with a camera provided with a field of view, comprising a step of acquiring images from the camera, a step measurement during which objects in an image are measured; a method which is remarkable in that it further comprises: a registration step for associating each object with its length, a tracking step for following the progression of an object in the box by means of successive images, a counting step to increment a counter by one unit when an object has left the field of the camera, that is, when it no longer appears on the current frame.

Selon un mode de réalisation avantageux dudit procédé, il comprend une étape de correction de distorsion pour chaque image acquise. Selon un autre mode de réalisation avantageux dudit procédé, il comprend une étape de conversion pour transformer chaque image acquise en une image binaire. Selon une disposition avantageuse de ce mode de réalisation, ledit procédé comprend une étape de sélection pour supprimer de ladite image binaire les objets ayant une taille inférieure à un premier io seuil prédéterminé ou supérieure à un second seuil prédéterminé. Il peut comprendre en outre au moins l'une des modalités suivantes - ledit procédé peut comprendre une étape de cartographie pour établir une carte de distance euclidienne d'un objet. 15 - ledit procédé peut comprendre une étape d'amincissement pour réduire la largeur de l'objet à un pixel afin d'en déterminer la longueur N. - ledit procédé peut comprendre une étape d'érosion, pour supprimer les deux pixels figurant aux extrémités de l'objet, cet objet 20 présentant une longueur érodée N-2. - ledit procédé peut comprendre une étape pour calculer la densité intégrée de l'objet avant érosion ID1 : IDI = EDM (i) j.1 - ledit procédé peut comprendre une étape pour calculer la 25 densité intégrée de l'objet après érosion 1D2 : ID2=1Ë EDM (i) 2 Selon un autre mode de réalisation avantageux dudit procédé, l'étape de mesure fournit la longueur estimée L dudit objet : L N-2 + ID1-1D2.According to an advantageous embodiment of said method, it comprises a distortion correction step for each acquired image. According to another advantageous embodiment of said method, it comprises a conversion step for transforming each acquired image into a binary image. According to an advantageous arrangement of this embodiment, said method comprises a selection step for removing from said binary image objects having a size smaller than a first predetermined threshold or greater than a second predetermined threshold. It may further include at least one of the following modalities - said method may include a mapping step for establishing an Euclidean distance map of an object. Said method may comprise a thinning step for reducing the width of the object to a pixel in order to determine the length N. said method may comprise an erosion step, to remove the two pixels at the ends. of the object, this object having an eroded length N-2. said method may comprise a step for calculating the integrated density of the object before erosion ID1: IDI = EDM (i) j.1 - said method may comprise a step for calculating the integrated density of the object after erosion 1D2: ID2 = 1E EDM (i) 2 According to another advantageous embodiment of said method, the measurement step provides the estimated length L of said object: L N-2 + ID1-1D2.

Selon encore un autre mode de réalisation dudit procédé, l'étape de suivi consiste à identifier l'objet j dans une image comme celui qui est le plus proche de lui dans l'image précédente à une distance de proximité comprise entre deux seuils prédéterminés Selon une disposition avantageuse de ce mode de réalisation, ladite étape de comptage est mise en oeuvre lorsque l'objet j quitte le champ de vision de la caméra.According to yet another embodiment of said method, the tracking step consists in identifying the object j in an image such as that which is closest to it in the preceding image at a proximity distance between two predetermined thresholds. an advantageous arrangement of this embodiment, said counting step is implemented when the object j leaves the field of view of the camera.

Selon une autre disposition avantageuse de ce mode de réalisation, ledit procédé comprend une étape pour retenir comme longueur dudit objet la moyenne des longueurs estimées dans plusieurs images successives. Selon un autre mode de réalisation avantageux dudit procédé, lorsque ledit caisson comporte deux accès, ladite étape de comptage prend en compte le sens de circulation dudit objet. Selon un autre mode de réalisation avantageux dudit procédé, lorsque ledit caisson est muni d'un moyen d'éclairage, il comprend de plus une étape d'éclairage.According to another advantageous arrangement of this embodiment, said method comprises a step for retaining as the length of said object the average of the estimated lengths in several successive images. According to another advantageous embodiment of said method, when said box comprises two accesses, said counting step takes into account the direction of circulation of said object. According to another advantageous embodiment of said method, when said box is provided with a lighting means, it further comprises a lighting step.

La présente invention apparaîtra maintenant avec plus de détails dans le cadre de la description qui suit d'un exemple de réalisation en référence aux figures annexées qui représentent : - la figure 1, un exemple de structure matérielle nécessaire à la mise en oeuvre de l'invention, et la figure 2, un diagramme reflétant les différentes étapes du procédé selon l'invention. En référence à la figure 1, la structure matérielle de l'invention est présentée. Il s'agit d'un caisson en U comportant un fond 1 horizontal et deux panneaux verticaux se faisant face en appui sur des bords opposés du 30 fond 1, un panneau latéral gauche 2 et un panneau latéral droit 3. Les espèces aquatiques étudiées sont libres de circuler entre les deux panneaux latéraux 2, 3. Le fond est de couleur claire car il constitue carrière-plan. A titre d'exemple, ses dimensions sont de 50 cm x 50 cm.The present invention will now appear in more detail in the context of the following description of an exemplary embodiment with reference to the appended figures which represent: FIG. 1, an example of a material structure necessary for the implementation of the invention, and Figure 2, a diagram reflecting the different steps of the method according to the invention. With reference to FIG. 1, the material structure of the invention is presented. It is a U-shaped box having a horizontal bottom 1 and two vertical panels facing each other on opposite edges of the bottom 1, a left-hand side panel 2 and a right-hand side panel 3. The aquatic species studied are free to circulate between the two side panels 2, 3. The bottom is light in color because it constitutes career-plan. For example, its dimensions are 50 cm x 50 cm.

Au sommet des deux panneaux latéraux 2, 3 est fixée une armature 4 qui maintient un tube de guidage 5 face au centre du fond 1. Une tige de support 6 est maintenue dans ce tube de guidage, tige à l'extrémité de laquelle est fixée une caméra 7. L'armature doit résister à des courants importants. A titre 10 d'exemple, elle est réalisée en métal. Elle peut se démonter aisément pour faciliter le transport du caisson. Le caisson est fixé sur le lit du cours d'eau au moyen de quatre pieux placés aux quatre angles du fond. On peut prévoir une ombrelle (non représentée) sur le caisson 15 pour réduire les réflexions parasites de rayons solaires. On peut prévoir des « bras » en filet de maille fine et tissus afin de canaliser les individus vers l'entrée du caisson. La caméra 7 est, par exemple, fixée à 30 cm du fond 1. Elle présente par exemple une résolution de 1280 x 960 pixels et elle fonctionne, 20 par exemple, à un cadencement de 30 images par seconde. Son objectif est doté d'un très grand angle de prise de vues. On peut encore prévoir un module d'éclairage (non représenté). En premier lieu, précisons qu'une séquence vidéo est 25 convertie en une suite d'images, opération très courante pour l'homme du métier. En référence à la figure 2, le procédé objet de la présente invention est maintenant détaillé. La première étape 20 consiste à corriger la distorsion 30 introduite par l'objectif qui est, rappelons-le, un grand angle, pour obtenir une précision suffisante sur les mesures de longueur. Il s'agit là d'une manipulation courante pour l'homme du métier et elle ne sera donc pas plus détaillée. Cette correction est appliquée à chaque image extraite de la séquence vidéo. La deuxième étape 21 consiste à détecter les espèces aquatiques. A cet effet, plusieurs opérations sont nécessaires. La première opération consiste à convertir chaque image en une image codée sur 8 bits. La seconde opération consiste à lisser chaque image en appliquant, par exemple, une fonction gaussienne avec un rayon de 3 pixels. io La troisième opération consiste à créer une image binaire, c'est-à-dire que ses pixels valent soit 1, soit O. A cet effet, on détecte le niveau de gris des maxima locaux et on fixe un niveau de bruit. Les pixels montrant une valeur supérieure à celle des maxima locaux diminué du niveau de bruit sont retenus. Les autres pixels sont éliminés. 15 Ensuite, selon une troisième étape 22 dite de sélection, un premier seuil de taille est appliqué pour réduire le bruit et éliminer les particules beaucoup plus petites que les organismes ciblés et un second seuil de taille est appliqué pour éliminer les objets beaucoup plus grands que les organismes ciblés. 20 La quatrième étape 23 dite de cartographie, consiste à établir une carte de distance euclidienne des objets figurant dans l'image. A ce sujet, on se référera à l'article de Leymarie F. et Levine M.D. « Fast raster scan distance propagation on the discrete rectangular lattice », CVGIP (Computer Vision Graphics and Image Processing): Image Understanding, 55(1), January 25 1992, pages 84-94. Cet article peut être obtenu sur Internet à l'adresse suivante http://pages.cs.wisc.edui-dyer/cs766/readingsfleymarie-cvgip92.pdf Cette étape génère une matrice, ou une carte de distance, qui correspond à la distance entre chaque pixel et le pixel le plus proche du fond 30 blanc.At the top of the two side panels 2, 3 is fixed a frame 4 which holds a guide tube 5 facing the center of the bottom 1. A support rod 6 is held in this guide tube, rod at the end of which is fixed a camera 7. The frame must withstand strong currents. For example, it is made of metal. It can be disassembled easily to facilitate the transport of the box. The caisson is fixed on the bed of the stream by means of four piles placed at the four corners of the bottom. An umbrella (not shown) can be provided on the casing 15 to reduce the parasitic reflections of solar rays. We can provide "arms" mesh fine mesh and tissues to channel the individuals to the entrance of the box. The camera 7 is, for example, fixed at 30 cm from the bottom 1. It has for example a resolution of 1280 x 960 pixels and it operates, for example, at a timing of 30 frames per second. Its lens has a very wide angle of view. We can also provide a lighting module (not shown). In the first place, it should be pointed out that a video sequence is converted into a series of images, a very common operation for the person skilled in the art. With reference to FIG. 2, the method that is the subject of the present invention is now detailed. The first step 20 is to correct the distortion 30 introduced by the lens which is, remember, a wide angle, to obtain sufficient accuracy on length measurements. This is a common manipulation for the skilled person and will not be more detailed. This correction is applied to each image extracted from the video sequence. The second step 21 consists in detecting the aquatic species. For this purpose, several operations are necessary. The first step is to convert each image to an 8-bit encoded image. The second operation is to smooth each image by applying, for example, a Gaussian function with a radius of 3 pixels. The third operation consists in creating a binary image, that is to say that its pixels are either 1 or 0. For this purpose, the gray level of the local maxima is detected and a noise level is set. The pixels showing a value greater than that of the local maxima decreased by the noise level are retained. The other pixels are eliminated. Then, according to a so-called third selection step 22, a first size threshold is applied to reduce the noise and eliminate much smaller particles than the target organisms and a second size threshold is applied to eliminate objects much larger than targeted organizations. The fourth step of mapping, consists in establishing a Euclidean distance map of the objects in the image. In this regard, reference is made to the article by Leymarie F. and Levine MD, "Fast raster scan distance spread on the discrete rectangular lattice," CVGIP (Computer Vision Graphics and Image Processing): Image Understanding, 55 (1), January 1992, pages 84-94. This article can be obtained on the Internet at http://pages.cs.wisc.edui-dyer/cs766/readingsfleymarie-cvgip92.pdf This step generates a matrix, or a distance map, which corresponds to the distance between each pixel and the pixel closest to the white background.

La cinquième étape 24 dite étape d'amincissement a pour objet de réduire la largeur de chaque objet à un pixel afin d'en déterminer la longueur N. On se référera à l'article de Zhang T. Y. et Suen C. Y. de 1984 « A fast parallel algorithm for thinning digital patterns », Image Processing and Computer Vision, 27(3), pages 236-239. La méthode consiste à retirer séquentiellement des pixels en partant des bords d'un objet sauf si la suppression d'un pixel conduisait à diviser l'objet en deux entités distinctes. H apparaît cependant un problème : cette étape d'amincissement crée une perte d'information au niveau des extrémités des io organismes ciblés si celles-ci sont arrondies (par exemple la tête d'un poisson). Quelques pixels sont supprimés à ce niveau. Cette information perdue est récupérée grâce à la carte de distance euclidienne. La sixième étape 25 dite d'érosion consiste à supprimer le premier et le dernier pixel d'un objet, cet objet qui présentait une longueur de 15 N pixels ayant maintenant une longueur de N-2 pixels. La septième étape 26 permet de calculer la densité intégrée ID1 de l'objet avant érosion : ID1= EDM (i), où I est l'indice courant du pixel variant de 1 à N, 20 - EDM(i) est la valeur de la carte de distance euclidienne du ième pixel. La huitième étape 27 permet de calculer la densité intégrée ID2 de l'objet après érosion : N-1 ID2 = E EDM (i), où 2 25 i est l'indice courant du pixel variant maintenant de 2 à N-1. La neuvième étape 28 dite étape de mesure fournit la longueur estimée L de l'objet : L = (N-2) + ID1 - ID2. La dixième étape 29 est l'étape de suivi des objets.The fifth step 24 called the thinning step is intended to reduce the width of each object to one pixel in order to determine the length N. Reference is made to the article by Zhang TY and Suen CY of 1984 "A fast parallel algorithm for thinning digital patterns, "Image Processing and Computer Vision, 27 (3), pp. 236-239. The method consists in sequentially removing pixels from the edges of an object unless the deletion of one pixel leads to dividing the object into two distinct entities. However, there is a problem: this thinning step creates a loss of information at the ends of the targeted organisms if they are rounded (for example the head of a fish). Some pixels are removed at this level. This lost information is recovered thanks to the Euclidean distance map. The sixth so-called erosion step consists in removing the first and the last pixel of an object, this object having a length of 15 N pixels now having a length of N-2 pixels. The seventh step 26 makes it possible to calculate the integrated density ID1 of the object before erosion: ID1 = EDM (i), where I is the current index of the pixel varying from 1 to N, 20 - EDM (i) is the value of the Euclidean distance map of the ith pixel. The eighth step 27 makes it possible to calculate the integrated density ID2 of the object after erosion: N-1 ID2 = E EDM (i), where 2 i is the current index of the pixel now varying from 2 to N-1. The ninth step 28 said measuring step provides the estimated length L of the object: L = (N-2) + ID1 - ID2. The tenth step 29 is the step of tracking the objects.

Ce suivi est réalisé en comparant la position d'un objet dans une image à la position qu'il occupait dans l'image précédente. En notant (x Yt+i), les coordonnées du centre de l'objet dans l'image courante et (xt, yt) les coordonnées du centre de l'objet dans l'image précédente, on calcule le carré de la distance séparant ces deux positions soit (xt+i - xt)2 (Yt+i - Yt)2- Cette opération est réalisée pour tous les objets afin d'établir une matrice. La valeur la plus faible de la matrice, c'est-à-dire la distance la io plus courte, est retenue et l'objet correspondant est identifié dans chaque image. Une fois cet objet identifié, on supprime la ligne et la colonne correspondante de la matrice et on recommence jusqu'à ce que le dernier objet soit identifié.This tracking is done by comparing the position of an object in an image to the position it occupied in the previous image. Noting (x Yt + i), the coordinates of the center of the object in the current image and (xt, yt) the coordinates of the center of the object in the previous image, we calculate the square of the distance separating these two positions are (xt + i - xt) 2 (Yt + i - Yt) 2- This operation is performed for all the objects in order to establish a matrix. The lowest value of the matrix, i.e. the shorter distance, is retained and the corresponding object is identified in each image. Once this object is identified, we delete the row and the corresponding column of the matrix and we start again until the last object is identified.

15 Il survient toutefois périodiquement qu'un objet quitte le champ de la caméra, si bien qu'il disparaît de l'image. Ce phénomène naturel est mis en évidence si un objet disparaît purement et simplement mais cette disparition peut coïncider avec l'apparition d'un nouvel objet. On s'affranchit de cette situation en prévoyant un seuil sur la 20 distance d'un objet entre sa position dans l'image courante et sa position dans l'image précédente. Au cas où ce seuil est franchi, il est déclaré que l'objet en cause a quitté le champ de la caméra. Ainsi, selon une onzième étape 30, l'étape de comptage, un 25 compteur est incrémenté d'une unité, compteur qui précise le nombre d'objets ayant quitté le champ de la caméra. Incidemment, à ce stade, on peut préciser que la longueur d'un objet déterminé peut être moyennée sur la valeur qu'elle prend dans plusieurs images successives.However, it occurs periodically that an object leaves the field of the camera, so that it disappears from the image. This natural phenomenon is highlighted if an object disappears purely and simply but this disappearance can coincide with the appearance of a new object. This situation is overcome by providing a threshold on the distance of an object between its position in the current image and its position in the previous image. In case this threshold is crossed, it is declared that the object in question has left the field of the camera. Thus, according to an eleventh step 30, the counting step, a counter is incremented by one unit, which counter specifies the number of objects having left the field of the camera. Incidentally, at this stage, we can specify that the length of a given object can be averaged over the value it takes in several successive images.

30 Par ailleurs, on a bien compris que le caisson comporte deux accès. L'homme du métier réalise immédiatement que l'on peut déterminer le sens de circulation d'un objet, d'avant en arrière ou bien l'inverse. Ainsi, l'étape de comptage peut être subdivisée en deux, l'une pour un sens de circulation, l'autre pour l'autre sens. L'invention a été présentée selon un mode de réalisation préférentiel. Elle s'applique à toute variante abordable par l'homme du métier. En particulier, toute étape peut être remplacée par une étape équivalente sans sortir du cadre de la présente invention.Furthermore, it is understood that the box has two accesses. The skilled person immediately realizes that we can determine the direction of movement of an object, from front to back or the opposite. Thus, the counting step can be subdivided into two, one for a direction of circulation, the other for the other direction. The invention has been presented according to a preferred embodiment. It applies to any affordable variant by the skilled person. In particular, any step may be replaced by an equivalent step without departing from the scope of the present invention.

Claims

CLAIMS1) Method for counting aquatic species passing through a box (1, 2, 3) provided with a camera (7) provided with a field of view, comprising a step of acquiring images from said camera, a measuring step (28) during which the objects in an image are measured, which method is characterized in that it further comprises: a locating step (21) for associating each object with its length, a step of tracking (29) for tracking the progress of an object in said well by means of successive images, a step of counting (30) for incrementing a counter by one unit when an object has left the field of the camera (7) in other words, when it no longer appears on the current image.

2) Method according to claim 1, characterized in that it comprises a distortion correction step (20) for each acquired image.

3) Method according to any one of the preceding claims, characterized in that it comprises a conversion step (21) for transforming each acquired image into a binary image.

4) Method according to claim 3, characterized in that it comprises a selection step (22) for removing from said binary image objects having a size less than a first predetermined threshold or greater than a second predetermined threshold. 25

5) Method according to claim 4, characterized in that it comprises a mapping step (23) for establishing a Euclidean distance map (EDM) of an object.

6) Method according to claim 5, characterized in that it comprises a thinning step (24) for reducing the width of said object 30 to a pixel in order to determine the length N.

7) Method according to claim 6, characterized in that it comprises an erosion step (25), to remove the two pixels at the ends of said object, this object having an eroded length N-2.

8) Method according to claim 7, characterized in that it comprises a step (26) for calculating the integrated density of said object before erosion (1D1): ID I = E EDM (i)

9) Method according to claim 8, characterized in that it comprises a step (27) for calculating the integrated density of said object after erosion (1D2): N-1 ID2 = EEDM (i) 2

10) Method according to claim 9, characterized in that said measuring step (28) provides the estimated length L of said object: L = N-2 + ID1-1D2. 15

11) Method according to any one of the preceding claims, characterized in that said tracking step (29) consists of identifying the object j in an image such as that which is closest to it in the previous image at a distance proximity between two predetermined thresholds. 20

12) Method according to claim 11, characterized in that said counting step is implemented when the object j leaves the field of view of the camera.

13) The method of claim 11, characterized in that it comprises a step for retaining as a length of said object the average of the estimated lengths in several successive images.

14) Method according to any one of the preceding claims, characterized in that said box having two accesses, said counting step takes into account the direction of circulation of said object.

15) Method according to any one of the preceding claims, characterized in that said box being provided with a lighting means, it further comprises a lighting step.