DE202023103167U1 - A system for real-time detection of underwater debris using the finely tuned YOLOv8 - Google Patents

A system for real-time detection of underwater debris using the finely tuned YOLOv8 Download PDF

Info

Publication number
DE202023103167U1
DE202023103167U1 DE202023103167.6U DE202023103167U DE202023103167U1 DE 202023103167 U1 DE202023103167 U1 DE 202023103167U1 DE 202023103167 U DE202023103167 U DE 202023103167U DE 202023103167 U1 DE202023103167 U1 DE 202023103167U1
Authority
DE
Germany
Prior art keywords
underwater
data
unit
yolov8
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202023103167.6U
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE202023103167.6U priority Critical patent/DE202023103167U1/en
Publication of DE202023103167U1 publication Critical patent/DE202023103167U1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/05Underwater scenes

Abstract

Ein System (100) für die Echtzeit-Erkennung von Müll unter Wasser unter Verwendung von fein abgestimmtem YOLOv8, umfassend:
eine Unterwasserkamera, die so konfiguriert ist, dass sie Bilder oder Videobilder der Unterwasserumgebung aufnimmt;
eine Datensammeleinheit, die betriebsmäßig mit der Unterwasserkamera verbunden ist und so konfiguriert ist, dass sie Bilder und Videos von Unterwasserbildern und -videos sammelt;
eine Datenanmerkungseinheit, die betriebsmäßig mit der Datensammeleinheit verbunden ist und so konfiguriert ist, dass sie einen Anmerkungsdatensatz erzeugt, indem sie die Müllobjekte mit Begrenzungsboxen kennzeichnet, um eine Grundwahrheit zu erzeugen;
eine YOLOv8-Feinabstimmungseinheit, die betriebsmäßig mit der Datenbeschriftungseinheit verbunden ist und so konfiguriert ist, dass sie die Parameter des erzeugten Beschriftungsdatensatzes anpasst, um die Eigenschaften des Unterwasser-Mülls zu lernen;
eine Datenerweiterungseinheit, die operativ mit der YOLOv8-Feinabstimmungseinheit verbunden ist und so konfiguriert ist, dass sie deren Vielfalt erhöht und unterschiedliche Unterwasserbedingungen berücksichtigt;
ein Ergebnismodul, das betriebsmäßig mit der Unterwasserkamera, der Datenerfassungseinheit, der Datenanmerkungseinheit, der YOLOv8-Feinabstimmungseinheit und der Datenerweiterungseinheit verbunden ist und so konfiguriert ist, dass es eine Benutzeroberfläche bereitstellt und den Zustand des Mülls unter Wasser überwacht und vorhersagt.

Figure DE202023103167U1_0000
A system (100) for real-time detection of underwater debris using fine-tuned YOLOv8, comprising:
an underwater camera configured to capture images or video of the underwater environment;
a data collection unit operatively connected to the underwater camera and configured to collect images and videos of underwater images and videos;
a data annotation unit operatively connected to the data collection unit and configured to generate an annotation dataset by bounding boxing the garbage objects to generate a ground truth;
a YOLOv8 tuning unit, operatively connected to the data labeling unit and configured to adjust the parameters of the generated labeling data set to learn the properties of the underwater debris;
a data extension unit operatively connected to the YOLOv8 fine-tuning unit and configured to increase its diversity and accommodate different underwater conditions;
a results module operatively connected to the underwater camera, the data acquisition unit, the data annotation unit, the YOLOv8 fine tuning unit and the data augmentation unit and configured to provide a user interface and to monitor and predict the status of the debris underwater.
Figure DE202023103167U1_0000

Description

Die vorliegende Erfindung bezieht sich auf ein Gebiet des maschinellen Lernens und insbesondere auf ein System zur Echtzeit-Erkennung von Unterwasser-Müll unter Verwendung von fein abgestimmtem YOLOv8.The present invention relates to a field of machine learning, and more particularly to a system for real-time detection of underwater debris using fine-tuned YOLOv8.

Die Erkennung von Müll in Unterwasserumgebungen hat aufgrund von Fortschritten in der Computer Vision und der Kommerzialisierung von Meeresressourcen an Aufmerksamkeit gewonnen. Die Bilder in den vorhandenen Unterwasser-Mülldatensätzen leiden jedoch unter Farbstichen, geringem Kontrast, Unschärfe, Rauschen und anderen Qualitätsproblemen. Darüber hinaus werden in der konventionellen Technologie Methoden zur Zielerkennung und Bildverbesserung eingesetzt, um die Genauigkeit der Unterwasser-Objekterkennung zu erhöhen, obwohl damit nur zufriedenstellende Ergebnisse erzielt werden. Das Gebiet der Unterwasser-Zielerfassung wurde bereits erforscht, aber es gibt immer noch offene Probleme, wie z. B. Beleuchtungsbedingungen, Kontrast, unterschiedliche Farben in Bildern und Dunst. Um diese Einschränkungen zu überwinden, wird ein System vorgeschlagen, das die Erkennungsgenauigkeit erhöht.Detecting debris in underwater environments has gained attention due to advances in computer vision and the commercialization of marine resources. However, the images in the existing underwater debris datasets suffer from color casts, low contrast, blurring, noise, and other quality issues. In addition, in conventional technology, target detection and image enhancement methods are used to increase the accuracy of underwater object detection, although only satisfactory results are achieved. The field of underwater targeting has already been explored, but there are still open problems, such as B. Lighting conditions, contrast, different colors in images and haze. To overcome these limitations, a system that increases the recognition accuracy is proposed.

Um dieses Problem zu lösen, bietet die vorliegende Erfindung ein System für die Unterwasser-Müllerkennung in Echtzeit unter Verwendung von fein abgestimmtem YOLOv8.To solve this problem, the present invention provides a system for real-time underwater debris detection using fine-tuned YOLOv8.

Das System erreicht eine hochpräzise Erkennung.The system achieves high-precision detection.

Das System verbessert die Gesamtleistung des Systems.The system improves the overall performance of the system.

Das System bietet einen äußerst nützlichen allgemeinen Rahmen für die Unterwasser-Müllerkennung.The system provides an extremely useful general framework for underwater debris detection.

Das System zeigt vielversprechende Ergebnisse bei der Erkennung von dichten Unterwasserobjekten und könnte in großem Umfang für die Erkennung von Meeresobjekten in schwierigen Unterwasserumgebungen eingesetzt werden.The system is showing promising results in detecting dense underwater objects and could be used extensively for detecting marine objects in challenging underwater environments.

Das System, das Konsistenz, Genauigkeit und Schlagfestigkeit bietet, um Müll unter Wasser zu erkennen.The system that provides consistency, accuracy and impact resistance to detect debris underwater.

In einer Ausführungsform wird ein System zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8 bereitgestellt. Das System ist ein zweistufiges Detektormodell, wobei das Unterwasserbildverbesserungsmodul (UIE-Mechanismus) als erstes Modul fungiert. Das System verarbeitet zunächst Unterwasserbilder, bevor es sie als Input für das Objekterkennungsmodell verwendet. In der zweiten Stufe wird das verbesserte Objekterkennungsmodell auf der Grundlage von YOLOv8 zur Klassifizierung der erweiterten Fotos verwendet.In one embodiment, a system for real-time underwater debris detection using fine-tuned YOLOv8 is provided. The system is a two-stage detector model, with the Underwater Image Enhancement Module (UIE mechanism) acting as the first module. The system first processes underwater images before using them as input to the object detection model. In the second stage, the improved object detection model based on YOLOv8 is used to classify the enhanced photos.

In einer Ausführungsform wird ein System zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8 bereitgestellt. Das System umfasst eine Unterwasserkamera, eine Datenerfassungseinheit, eine Datenanmerkungseinheit, eine YOLOv8-Feinabstimmungseinheit, eine Datenerweiterungseinheit und ein Ergebnismodul. Die Unterwasserkamera ist so konfiguriert, dass sie Bilder oder Videobilder der Unterwasserumgebung aufnimmt. Die Datenerfassungseinheit ist betriebsmäßig mit der Unterwasserkamera verbunden. Die Datenerfassungseinheit ist so konfiguriert, dass sie Bilder und Videos von Unterwasserbildern und -videos erfasst. Die Datenkommentierungseinheit ist betriebsmäßig mit der Datensammeleinheit verbunden. Die Einheit für die Datenkommentierung ist so konfiguriert, dass sie einen kommentierten Datensatz erstellt, indem sie die Müllobjekte mit Begrenzungsboxen kennzeichnet, um eine Grundwahrheit zu schaffen. Die YOLOv8-Feinabstimmungseinheit ist operativ mit der Datenannotierungseinheit verbunden. Die YOLOv8-Feinabstimmungseinheit ist so konfiguriert, dass sie die Parameter des erstellten kommentierten Datensatzes anpasst, um die Eigenschaften des Unterwasser-Mülls zu lernen. Die Datenerweiterungseinheit ist operativ mit der YOLOv8-Feinabstimmungseinheit verbunden. Die Datenerweiterungseinheit ist so konfiguriert, dass sie die Vielfalt der Daten erhöht und unterschiedliche Unterwasserbedingungen berücksichtigt. Das Ergebnismodul ist betriebsmäßig mit der Unterwasserkamera, der Datenerfassungseinheit, der Datenkommentierungseinheit, der YOLOv8-Feinabstimmungseinheit und der Datenerweiterungseinheit verbunden. Das Ergebnismodul ist so konfiguriert, dass es eine Benutzeroberfläche bereitstellt und den Zustand des Mülls unter Wasser überwacht und vorhersagt.In one embodiment, a system for real-time underwater debris detection using fine-tuned YOLOv8 is provided. The system includes an underwater camera, a data acquisition unit, a data annotation unit, a YOLOv8 fine-tuning unit, a data extension unit, and a results module. The underwater camera is configured to capture images or video images of the underwater environment. The data acquisition unit is operatively connected to the underwater camera. The data acquisition unit is configured to acquire images and videos of underwater images and videos. The data annotation unit is operatively connected to the data collection unit. The data annotation unit is configured to create an annotated dataset by bounding boxing the garbage objects to create a ground truth. The YOLOv8 fine-tuning unit is operatively linked to the data annotation unit. The YOLOv8 fine-tuning unit is configured to adjust the parameters of the created annotated dataset to learn the properties of the underwater debris. The data extension unit is operatively linked to the YOLOv8 fine-tuning unit. The data extension unit is configured to increase the variety of data and accommodate different underwater conditions. The results module is operatively connected to the underwater camera, the data acquisition unit, the data annotation unit, the YOLOv8 fine tuning unit and the data extension unit. The results module is configured to provide a user interface and to monitor and predict the condition of the underwater debris.

In einer Ausführungsform wird das fein abgestimmte YOLOv8-Modell anhand eines vielfältigen Datensatzes von kommentierten Unterwasserbildern und -videos trainiert.In one embodiment, the fine-tuned YOLOv8 model is trained on a diverse data set of annotated underwater images and videos.

In einer Ausführungsform ist die Datenvergrößerungseinheit so konfiguriert, dass die Variabilität des Trainingsdatensatzes erhöht wird.In one embodiment, the data augmentation unit is configured to increase the variability of the training data set.

In einer Ausführungsform verwendet das Unterwasserbildverbesserungsmodul Verbesserungstechniken, um die Qualität und Sichtbarkeit der Unterwasserfotos als Eingabe zu verbessern.In one embodiment, the underwater image enhancement module uses enhancement techniques to improve the quality and visibility of the underwater photos as input.

In einer Ausführungsform basiert das Objekterkennungsmodul auf dem fein abgestimmten YOLOv8. Das YOLOv8 kann Objekte in Bildern identifizieren und klassifizieren.In one embodiment, the object detection engine is based on the fine-tuned YOLOv8. The YOLOv8 can identify and classify objects in images.

In einer Ausführungsform umfasst das Datenspeichermodul den Datensatz Trash_ICRA19, den Datensatz RUIE2020, den Datensatz UTDAC2020, den Datensatz VOT2018, den Datensatz URPC2019 und den Datensatz URPC2020.In one embodiment, the data storage module includes data set Trash_ICRA19, data set RUIE2020, data set UTDAC2020, data set VOT2018, data set URPC2019, and data set URPC2020.

In einer Ausführungsform verbessert das System zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8 die Objekterkennung in Unterwasserbildern, indem es zunächst die Bildqualität unter Verwendung des UIE-Mechanismus verbessert und dann ein fein abgestimmtes YOLOv8-Modell zur Objekterkennung und -klassifizierung verwendet.In one embodiment, the real-time underwater debris detection system using fine-tuned YOLOv8 improves object detection in underwater images by first improving image quality using the UIE mechanism and then using a fine-tuned YOLOv8 model for object detection and classification.

In einer Ausführungsform ermöglicht das System die Verbesserung der Sichtbarkeit von Unterwasser-Müllobjekten.In one embodiment, the system allows for enhancing the visibility of underwater debris objects.

In einer Ausführungsform kann das System schnell geeignete Merkmale aus den verbesserten Bildern extrahieren.In one embodiment, the system can quickly extract appropriate features from the enhanced images.

Die Erfindung wird im Folgenden anhand der Figur nochmals erläutert. Dabei zeigt:

  • 1: zeigt ein Blockdiagramm eines Systems zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8.
The invention is explained again below with reference to the figure. It shows:
  • 1 : shows a block diagram of a system for real-time underwater debris detection using fine-tuned YOLOv8.

1: zeigt ein Blockdiagramm eines Systems (100) zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8. Das System (100) besteht aus einem Datenspeichermodul, einem Unterwasserbildverbesserungsmodul, einem Objekterkennungsmodul und einem Ergebnismodul. Das Datenspeichermodul ist so konfiguriert, dass es reale Bilder von Unterwasserobjekten aus verschiedenen Quellen sammelt. Das Unterwasserbildverbesserungsmodul wird verwendet, um die Unterwasserbilder zu verarbeiten und verbesserte Bilder bereitzustellen. Das Objekterkennungsmodul ist so konfiguriert, dass es eine Objektidentifizierung und -klassifizierung durchführt und das Objekt erkennt und kennzeichnet. Das Ergebnismodul wird zur Vorhersage von Müll unter Wasser verwendet. 1 Figure 1: shows a block diagram of a system (100) for real-time underwater debris detection using fine-tuned YOLOv8. The system (100) consists of a data storage module, an underwater image enhancement module, an object detection module and a results module. The data storage module is configured to collect real-world images of underwater objects from various sources. The underwater image enhancement module is used to process the underwater images and provide enhanced images. The object detection module is configured to perform object identification and classification, and to detect and tag the object. The results module is used to predict underwater debris.

Das System (100) stellt ein einzigartiges Objektidentifikationsdesign vor, das auf einem YOLOv8-Framework aufbaut, das aktualisiert wurde, um diese Probleme anzugehen und die Genauigkeit der Modelle weiter zu verbessern. Das System (100) hilft auch bei der Identifizierung von Unterwasser-Müll. Das System (100) ist ein zweistufiges Detektormodell. In der ersten Stufe kommt eine UIE-Datenerweiterungstechnik (Underwater Image Enhancer) zum Einsatz, die mit Laplacian-Pyramiden und Gammakorrektheitsmethoden arbeitet, um die Unterwasserbilder zu verbessern. Die zweite Stufe, das vorgeschlagene verfeinerte innovative YOLOv8-Modell für Klassifizierungszwecke, verwendet die Ergebnisse der ersten Stufe als Eingabe. Der bestehende Merkmalsextraktor des YOLOv8-Modells wird in diesem System (100) durch eine neue Merkmalsextraktionstechnik ersetzt, die zu besseren Ergebnissen führt. Die Einführung der UIE- und Merkmalsextraktionsmethode stellt die wesentliche Neuerung dieses Systems (100) dar. Um unnötige Parameter zu eliminieren und das Modell weiter zu verdichten, wird das vorgeschlagene System (100) gleichzeitig beschnitten. Durch das Pruning nimmt die Genauigkeit des Modells ab, so dass das Transfer-Learning-Verfahren eingesetzt wird, um sie zu erhöhen. Die Ergebnisse zeigen, dass das Verfahren Objekte mit einer Genauigkeit von 98,5 % und einem mAP@50 von 98,1 % erkennen kann und dass seine Echtzeit-Erkennungsgeschwindigkeit auf dem Grafikprozessor doppelt so hoch ist wie die Basisleistung des YOLOv8m-Modells.The System (100) introduces a unique object identification design built on top of a YOLOv8 framework that has been updated to address these issues and further improve the accuracy of the models. The system (100) also helps identify underwater debris. The system (100) is a two-stage detector model. The first stage uses an Underwater Image Enhancer (UIE) data enhancement technique that uses Laplacian pyramids and gamma correctness methods to enhance the underwater images. The second stage, the proposed refined innovative YOLOv8 model for classification purposes, uses the results of the first stage as input. The existing feature extractor of the YOLOv8 model is replaced in this system (100) by a new feature extraction technique that leads to better results. The introduction of the UIE and feature extraction method represents the essential innovation of this system (100). In order to eliminate unnecessary parameters and to further condense the model, the proposed system (100) is simultaneously pruned. Pruning decreases the accuracy of the model, so transfer learning is used to increase it. The results show that the method can recognize objects with an accuracy of 98.5% and a mAP@50 of 98.1%, and that its real-time recognition speed on the GPU is twice the baseline performance of the YOLOv8m model.

Das System (100) zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von feinabgestimmtem YOLOv8 wird bereitgestellt. Das System umfasst eine Unterwasserkamera, eine Datenerfassungseinheit, eine Datenanmerkungseinheit, eine YOLOv8-Feinabstimmungseinheit, eine Datenerweiterungseinheit und ein Ergebnismodul. Die Unterwasserkamera ist so konfiguriert, dass sie Bilder oder Videobilder der Unterwasserumgebung aufnimmt. Die Datenerfassungseinheit ist betriebsmäßig mit der Unterwasserkamera verbunden. Die Datenerfassungseinheit ist so konfiguriert, dass sie Bilder und Videos von Unterwasserbildern und -videos erfasst. Die Datenkommentierungseinheit ist mit der Datenerfassungseinheit verbunden. Die Datenbeschriftungseinheit ist so konfiguriert, dass sie einen beschrifteten Datensatz erstellt, indem sie die Müllobjekte mit Begrenzungsboxen beschriftet, um eine Grundwahrheit zu schaffen. Die YOLOv8-Feinabstimmungseinheit ist operativ mit der Datenannotierungseinheit verbunden. Die YOLOv8-Feinabstimmungseinheit ist so konfiguriert, dass sie die Parameter des erstellten kommentierten Datensatzes anpasst, um die Eigenschaften des Unterwasser-Mülls zu lernen. Die Datenerweiterungseinheit ist operativ mit der YOLOv8-Feinabstimmungseinheit verbunden. Die Datenerweiterungseinheit ist so konfiguriert, dass sie die Vielfalt der Daten erhöht und unterschiedliche Unterwasserbedingungen berücksichtigt. Das Ergebnismodul ist betriebsmäßig mit der Unterwasserkamera, der Datenerfassungseinheit, der Datenkommentierungseinheit, der YOLOv8-Feinabstimmungseinheit und der Datenerweiterungseinheit verbunden. Das Ergebnismodul ist so konfiguriert, dass es eine Benutzerschnittstelle bereitstellt und den Zustand des Mülls unter Wasser überwacht und vorhersagt.The system (100) for real-time underwater debris detection using fine-tuned YOLOv8 is provided. The system includes an underwater camera, a data acquisition unit, a data annotation unit, a YOLOv8 fine-tuning unit, a data extension unit, and a results module. The underwater camera is configured to capture images or video images of the underwater environment. The data acquisition unit is operatively connected to the underwater camera. The data acquisition unit is configured to acquire images and videos of underwater images and videos. The data annotation unit is connected to the data acquisition unit. The data labeling engine is configured to create a labeled data set by labeling the garbage objects with bounding boxes to create a ground truth. The YOLOv8 fine-tuning unit is operatively linked to the data annotation unit. The YOLOv8 fine-tuning unit is configured to adjust the parameters of the created annotated dataset to learn the properties of the underwater debris. The data extension unit is operatively linked to the YOLOv8 fine-tuning unit. The data extension unit is configured to increase the variety of data and accommodate different underwater conditions. The results module is operatively connected to the underwater camera, the data acquisition unit, the data annotation unit, the YOLOv8 fine tuning unit and the data extension unit. The results module is configured to have a user interface and monitors and predicts the condition of debris underwater.

Die komplizierte und sich ständig verändernde Unterwasserumgebung wird berücksichtigt, wenn ein neuartiges und verbessertes YOLOv8-Unterwasser-Müllerkennungssystem (100) vorgeschlagen wird. Zunächst wurde der innovative UIE-Modul-Algorithmus vorgestellt, der die Verbesserung von Unterwasser-Müllfotos ermöglicht. Zweitens wurde ein neuartiger Merkmalsextraktionsalgorithmus vorgeschlagen, um schnell geeignete Merkmale aus den verbesserten Fotos zu extrahieren. Das System (100) verwendet einen Datensatz, der mAP@0.5 und mAP@0.5:0.95 erreicht 98,1 % bzw. 54,2 % und liegt damit 4,5 % bzw. 2,9 % über dem des ursprünglichen YOLOv8. Das System (100) ist ein sehr vorteilhafter allgemeiner Rahmen für die Unterwasser-Müllerkennung. Das verbesserte YOLOv8-Modell hat vielversprechende Ergebnisse bei der Erkennung von dichten Unterwasserobjekten gezeigt und könnte in großem Umfang für die Erkennung von Meeresobjekten in schwierigen Unterwasserumgebungen eingesetzt werden. Verbesserte Transformatorblöcke und effektivere Bildverbesserungstechniken könnten Gegenstand zukünftiger Forschung sein, um die Architektur des Netzwerks zu stärken und die Erkennungsgenauigkeit zu erhöhen.The complicated and constantly changing underwater environment is taken into account when proposing a new and improved YOLOv8 underwater debris detection system (100). First, the innovative UIE module algorithm was presented, which allows the improvement of underwater garbage photos. Second, a novel feature extraction algorithm was proposed to quickly extract appropriate features from the enhanced photos. The system (100) uses a dataset that achieves mAP@0.5 and mAP@0.5:0.95 at 98.1% and 54.2%, respectively, which is 4.5% and 2.9% higher than the original YOLOv8, respectively. System (100) is a very advantageous general framework for underwater debris detection. The improved YOLOv8 model has shown promising results in detecting dense underwater objects and could be widely used for detecting marine objects in challenging underwater environments. Improved transformer blocks and more effective image enhancement techniques could be the subject of future research to strengthen the network's architecture and increase detection accuracy.

BezugszeichenlisteReference List

100100
Systemsystem

Claims (8)

Ein System (100) für die Echtzeit-Erkennung von Müll unter Wasser unter Verwendung von fein abgestimmtem YOLOv8, umfassend: eine Unterwasserkamera, die so konfiguriert ist, dass sie Bilder oder Videobilder der Unterwasserumgebung aufnimmt; eine Datensammeleinheit, die betriebsmäßig mit der Unterwasserkamera verbunden ist und so konfiguriert ist, dass sie Bilder und Videos von Unterwasserbildern und -videos sammelt; eine Datenanmerkungseinheit, die betriebsmäßig mit der Datensammeleinheit verbunden ist und so konfiguriert ist, dass sie einen Anmerkungsdatensatz erzeugt, indem sie die Müllobjekte mit Begrenzungsboxen kennzeichnet, um eine Grundwahrheit zu erzeugen; eine YOLOv8-Feinabstimmungseinheit, die betriebsmäßig mit der Datenbeschriftungseinheit verbunden ist und so konfiguriert ist, dass sie die Parameter des erzeugten Beschriftungsdatensatzes anpasst, um die Eigenschaften des Unterwasser-Mülls zu lernen; eine Datenerweiterungseinheit, die operativ mit der YOLOv8-Feinabstimmungseinheit verbunden ist und so konfiguriert ist, dass sie deren Vielfalt erhöht und unterschiedliche Unterwasserbedingungen berücksichtigt; ein Ergebnismodul, das betriebsmäßig mit der Unterwasserkamera, der Datenerfassungseinheit, der Datenanmerkungseinheit, der YOLOv8-Feinabstimmungseinheit und der Datenerweiterungseinheit verbunden ist und so konfiguriert ist, dass es eine Benutzeroberfläche bereitstellt und den Zustand des Mülls unter Wasser überwacht und vorhersagt. A system (100) for real-time detection of underwater debris using fine-tuned YOLOv8, comprising: an underwater camera configured to capture images or video of the underwater environment; a data collection unit operatively connected to the underwater camera and configured to collect images and videos of underwater images and videos; a data annotation unit operatively connected to the data collection unit and configured to generate an annotation dataset by bounding boxing the garbage objects to generate a ground truth; a YOLOv8 tuning unit, operatively connected to the data labeling unit and configured to adjust the parameters of the generated labeling data set to learn the properties of the underwater debris; a data extension unit operatively connected to the YOLOv8 fine-tuning unit and configured to increase its diversity and accommodate different underwater conditions; a results module operatively connected to the underwater camera, the data acquisition unit, the data annotation unit, the YOLOv8 fine tuning unit and the data augmentation unit and configured to provide a user interface and to monitor and predict the status of the debris underwater. Das System (100) nach Anspruch 1, wobei das feinabgestimmte YOLOv8-Modell unter Verwendung eines vielfältigen Datensatzes von kommentierten Unterwasserbildern und -videos trainiert wird.The system (100) after claim 1 , where the fine-tuned YOLOv8 model is trained using a diverse dataset of annotated underwater images and videos. Das System (100) nach Anspruch 1, wobei die Datenvergrößerungseinheit so konfiguriert ist, dass sie die Variabilität des Trainingsdatensatzes erhöht.The system (100) after claim 1 , wherein the data augmentation unit is configured to increase the variability of the training data set. Das System (100) nach Anspruch 1, wobei das Unterwasserbildverbesserungsmodul Verbesserungstechniken verwendet, um die Qualität und Sichtbarkeit der Unterwasserfotos als Eingabe zu verbessern.The system (100) after claim 1 , where the underwater image enhancement module uses enhancement techniques to improve the quality and visibility of the underwater photos as input. Das System (100) nach Anspruch 1, wobei das Objekterkennungsmodul auf dem fein abgestimmten YOLOv8 basiert. Das YOLOv8 kann Objekte in Bildern identifizieren und klassifizieren.The system (100) after claim 1 , with the object detection engine based on the fine-tuned YOLOv8. The YOLOv8 can identify and classify objects in images. Das System (100) nach Anspruch 1, wobei das Datenspeichermodul einen Trash_ICRA19-Datensatz, einen RUIE2020-Datensatz, einen UTDAC2020-Datensatz, einen VOT2018-Datensatz, einen URPC2019- und einen URPC2020-Datensatz umfasst.The system (100) after claim 1 , wherein the data storage module comprises a Trash_ICRA19 data set, a RUIE2020 data set, a UTDAC2020 data set, a VOT2018 data set, a URPC2019 and a URPC2020 data set. Das System (100) nach Anspruch 1, wobei das Ergebnismodul eine grafische Vorrichtung oder einen Computerbildschirm umfasst.The system (100) after claim 1 wherein the results module comprises a graphical device or computer screen. Das System (100) nach Anspruch 1, wobei das System zur Echtzeit-Unterwasser-Müllerkennung unter Verwendung von fein abgestimmtem YOLOv8 die Objekterkennung in Unterwasserbildern verbessert, indem es zunächst die Bildqualität unter Verwendung des UIE-Mechanismus verbessert und dann ein fein abgestimmtes YOLOv8-Modell zur Objekterkennung und -klassifizierung verwendet.The system (100) after claim 1 , where the real-time underwater debris detection system using fine-tuned YOLOv8 improves object detection in underwater images by first improving the image quality using the UIE mechanism, and then using a fine-tuned YOLOv8 model for object detection and classification.
DE202023103167.6U 2023-06-08 2023-06-08 A system for real-time detection of underwater debris using the finely tuned YOLOv8 Active DE202023103167U1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE202023103167.6U DE202023103167U1 (en) 2023-06-08 2023-06-08 A system for real-time detection of underwater debris using the finely tuned YOLOv8

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE202023103167.6U DE202023103167U1 (en) 2023-06-08 2023-06-08 A system for real-time detection of underwater debris using the finely tuned YOLOv8

Publications (1)

Publication Number Publication Date
DE202023103167U1 true DE202023103167U1 (en) 2023-06-19

Family

ID=87068247

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202023103167.6U Active DE202023103167U1 (en) 2023-06-08 2023-06-08 A system for real-time detection of underwater debris using the finely tuned YOLOv8

Country Status (1)

Country Link
DE (1) DE202023103167U1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665080A (en) * 2023-07-26 2023-08-29 国网江西省电力有限公司电力科学研究院 Unmanned aerial vehicle deteriorated insulator detection method and system based on target recognition
CN117173542A (en) * 2023-10-26 2023-12-05 山东易图信息技术有限公司 Method and system for detecting and optimizing water floaters based on YOLOV8 model
CN117593674A (en) * 2024-01-18 2024-02-23 南昌大学 Real-time detection method for lightweight unmanned aerial vehicle aerial photography target
CN117593674B (en) * 2024-01-18 2024-05-03 南昌大学 Real-time detection method for lightweight unmanned aerial vehicle aerial photography target

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665080A (en) * 2023-07-26 2023-08-29 国网江西省电力有限公司电力科学研究院 Unmanned aerial vehicle deteriorated insulator detection method and system based on target recognition
CN116665080B (en) * 2023-07-26 2023-11-07 国网江西省电力有限公司电力科学研究院 Unmanned aerial vehicle deteriorated insulator detection method and system based on target recognition
CN117173542A (en) * 2023-10-26 2023-12-05 山东易图信息技术有限公司 Method and system for detecting and optimizing water floaters based on YOLOV8 model
CN117593674A (en) * 2024-01-18 2024-02-23 南昌大学 Real-time detection method for lightweight unmanned aerial vehicle aerial photography target
CN117593674B (en) * 2024-01-18 2024-05-03 南昌大学 Real-time detection method for lightweight unmanned aerial vehicle aerial photography target

Similar Documents

Publication Publication Date Title
DE112016005059B4 (en) Subcategory-aware convolutional neural networks for object detection
DE202023103167U1 (en) A system for real-time detection of underwater debris using the finely tuned YOLOv8
DE102017220307B4 (en) Device and method for recognizing traffic signs
DE60129872T2 (en) Method for extracting titles from numerical images
DE112019001310T5 (en) SYSTEMS AND METHODS FOR REDUCING THE AMOUNT OF DATA STORAGE DURING MACHINE LEARNING
DE102018130821A1 (en) Method for assessing an environment of a motor vehicle using an artificial neural network with an aggregation unit; Control unit, driver assistance system and computer program product
DE112016001830T5 (en) Discovering companies from images
CN104299009B (en) License plate character recognition method based on multi-feature fusion
DE112016002175T5 (en) Entity-based temporal segmentation of video streams
DE102018128531A1 (en) System and method for analyzing a three-dimensional environment represented by a point cloud through deep learning
DE112017005651T5 (en) Device for classifying data
DE112020004053T5 (en) MIX, NOTE OR. PARTICIPATE AND ADJUST: VIDEO DOMAIN ADJUSTMENT THROUGH CLIP ORDER PREDICTION AND CLIP ATTENTION TRACKING
DE102010016251A1 (en) Detection method for a moving object and the command input method underlying the detection of the moving object
DE102008041944A1 (en) Data processing method for generation of data file and for testing authenticity of e.g. passport, involves inputting value set and associated information to learning module, and outputting classifier by learning module
DE112019007762T5 (en) Method for training a generative adversarial network, modified image generation module and system for detecting features in an image
CN105023025B (en) A kind of opener mark image sorting technique and system
DE102017124600A1 (en) Semantic segmentation of an object in an image
DE212022000040U1 (en) Logistics management system based on a two-dimensional code
DE102010045744A1 (en) Browse and extract digital images from digital video files
AT515595A2 (en) Method for optical recognition of characters
DE102019129029A1 (en) OBJECT DETECTION SYSTEM AND METHOD
DE102018132627A1 (en) Method for capturing an environment of a motor vehicle by means of temporal fusion of images through an artificial neural network; Control unit, driver assistance system; Computer program product
DE102021128523A1 (en) HIERARCHICAL IMAGE DECOMPOSITION FOR DEFECT DETECTION
DE112021005555T5 (en) MULTITASKING LEARNING VIA GRADUATION FOR EXTENSIVE HUMAN ANALYSIS
DE102009060687A1 (en) Method and device for computer-aided annotation of multimedia data

Legal Events

Date Code Title Description
R207 Utility model specification
R082 Change of representative

Representative=s name: LIPPERT STACHOW PATENTANWAELTE RECHTSANWAELTE , DE