EP4677458A1 - Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé - Google Patents

Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé

Info

Publication number
EP4677458A1
EP4677458A1 EP24709410.5A EP24709410A EP4677458A1 EP 4677458 A1 EP4677458 A1 EP 4677458A1 EP 24709410 A EP24709410 A EP 24709410A EP 4677458 A1 EP4677458 A1 EP 4677458A1
Authority
EP
European Patent Office
Prior art keywords
data
annotated
machine learning
learning model
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24709410.5A
Other languages
German (de)
English (en)
Inventor
Adrien Bartoli
Ivan MIKHAILOV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Original Assignee
Clermont Auvergne Inp
Surgar
Centre National de la Recherche Scientifique CNRS
Universite Clermont Auvergne
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clermont Auvergne Inp, Surgar, Centre National de la Recherche Scientifique CNRS, Universite Clermont Auvergne filed Critical Clermont Auvergne Inp
Publication of EP4677458A1 publication Critical patent/EP4677458A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor

Definitions

  • the invention relates to a combined system for selecting training data for a machine learning model, annotating training data for the model, training the learning model and predicting from the model, a method and an associated computer program product.
  • the invention is particularly intended for the annotation of data related to the segmentation of medical images, for example from magnetic resonance imaging (MRI) or computed tomography (CT) for the identification of organs on each of the section images obtained by FIRM or CT in order to recreate a 3D model of the organ from these segmentations, among other applications.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • Image segmentation is a technique for associating each pixel or voxel of a 2D or 3D image with a label representing the object, texture or state, etc. corresponding to said pixel or voxel.
  • Image segmentation is used in particular in a medical context to determine the organs, tissues, fluids, etc. visible on a 2D or 3D image.
  • Such an image is for example obtained by MRI and makes it possible to form a 3D model of the targeted organ and for example of its environment and the tumor to be operated on.
  • This creation of a 3D model requires the segmentation of the images obtained by FIRM.
  • Image segmentation can be based on the use of a machine learning model that allows automatic or semi-automatic segmentation of images, respectively without or with the help of a user to make corrections.
  • the machine learning model acts as a predictor that, by receiving as input an image to be segmented, provides a segmented image as output.
  • Using a machine learning model requires prior training of the model using a large amount of annotated data, i.e. images in which the different segmentation classes have been determined and annotated/labeled. These annotated data are grouped into a dataset dedicated to training, validating and testing the implemented model.
  • annotated data is an essential requirement for the supervised training of machine learning systems, which are defined by their ability to learn from this annotated data to make predictions or decisions.
  • the predictor At the heart of a machine learning system is the predictor, which is trained by a machine learning model representing what has been learned by the system thanks to the annotated data.
  • solutions to alleviate the data annotation problem have included, for example, semi-supervised, weakly supervised, self-supervised and unsupervised learning, zero-shot and one-shot learning, transfer learning and multitask learning. They can reduce or completely eliminate the need for human annotation.
  • their applicability is limited: they are sensitive to errors, which makes them less suitable for complex, safety-critical, and high-variability problems, typically such as problems related to clinical and medical applications.
  • These solutions offer less control over the quality of the results, generally require more complex algorithms and finer tuning, and can result in less accurate and less interpretable models than supervised learning.
  • Supervised learning generally offers a simpler way to achieve better performance when there is sufficient annotated data, and therefore remains relevant and used by many current approaches.
  • data annotation by a human expert remains useful and the search for a solution to speed up the annotation process is relevant. The human expert thus plays the role of an oracle for the machine learning system.
  • the basic paradigm of machine learning has three main phases: a data annotation phase, a training phase of the predictive machine learning model, and an evaluation phase.
  • the system can then return to the data annotation phase if necessary.
  • the data annotation phase can use a classic annotation system such as 3D Slicer, which requires a lot of effort and time for a human oracle.
  • this phase can be improved by using active learning to select the most useful unannotated data. This solution reduces the amount of data to be annotated while still providing relevant annotated data for training the machine learning model.
  • Solutions propose to replace the classical annotation system with a dedicated annotation predictor.
  • the annotation predictor suggests an annotation that the expert can validate or correct. This raises the question of training this annotation predictor.
  • Existing systems train the annotation predictor once a sufficient amount of data has been annotated by the classical annotation system. They are suboptimal because the annotation predictor and the classical annotation system do not improve as data is annotated. One goal is therefore to exploit the data as it is annotated to train the annotation predictor to improve the annotation mechanism itself.
  • the inventors therefore sought a solution to simplify the annotation task for the oracle by improving existing systems.
  • the invention aims to provide a system, a method and a computer program product for selecting training data of a machine learning model, annotating training data of the model, training the model and predicting from the model.
  • the invention also aims to provide, in at least one embodiment, a system for using a shared learning model to perform the selection of training data, and assist an oracle in the annotation of training data, while allowing the deployment of the shared model as a predictor at any time.
  • the invention also aims to provide, in at least one embodiment, a system, a method and a computer program product allowing image segmentation, object detection and recognition, and/or image classification, more generally any type of task related to image processing, medical or not, or to computer vision, including, but not limited to classification, categorization, segmentation, semantic segmentation, instance segmentation, object detection, localization. Disclosure of the invention
  • the invention relates to a combined system for selecting training data for a machine learning model and for annotating training data for the model, comprising: the pre-trained model with initial annotated training data, a first database comprising a set of unannotated data, a second database configured for storing annotated data, characterized in that the model is configured to: select, from among the set of unannotated data in the first database, a set of the most useful unannotated data to be annotated via an active learning method, automatically annotate the most useful unannotated data to provide automatically annotated data, receive, via an interactive annotation interface of the system associated with the machine learning model, at least one correction and/or validation of annotation of the data automatically annotated by an oracle to provide validated data, said validated data being stored in the second database, be retrained by the validated data of the second database for selection of the most useful unannotated data and for interactive annotation.
  • a combined system according to the invention therefore makes it possible to manage different functions around a shared learning model so that the learning model benefits from this interaction between the different functions.
  • the system allows on the one hand to select the training data by determining which unannotated data are the most useful for training thanks to the active learning implemented by the machine learning model. This allows to reduce the number of data to annotate by an oracle and allow continuous addition of new data to be annotated by prioritizing the unannotated data that contributes the most to improving the system's performance in the next training cycle.
  • the system also provides a solution to assist a human oracle in the interactive annotation of this most useful data using this same machine learning model in order to simplify data annotation.
  • the annotation is thus controlled and guided by the machine learning model.
  • the more efficient the model the fewer interactions required by the oracle for data annotation, in particular because the number of corrections required by the oracle is reduced.
  • the annotated data is also of better quality than pseudo-labeled data from self-training.
  • the annotated data itself is used for retraining the model, in particular to assist in sorting the most useful non-annotated data to annotate, and to assist the oracle in annotating the non-annotated data.
  • the machine learning model is better known as a Machine Learning model in English. The time spent annotating the data is thus reduced for the oracle, while retaining control of the annotation.
  • Retraining broadly refers to several solutions for training the model with the entire annotated data set including the annotated data already used for training and the validated data, which can consist of: complete retraining, fine tuning or continuous learning.
  • This retraining is carried out automatically or by a competent human expert to act on the machine learning model.
  • the fusion of these functions allows on the one hand to limit the resources required for annotation, and on the other hand to improve the overall performance of the annotation system, by combining the learning and annotation channels in a single combined system through the joint use of active learning by the machine learning model and interactive annotation using the same machine learning model as an annotation assistant.
  • Using a shared machine learning model therefore also makes it easier to manage the model and reduce technical and logistical interventions and delays, in particular by combining the annotation phase and the machine learning model training phase.
  • Pre-training also makes it easier to deploy the machine learning model for its automatic annotation prediction function for unannotated data when the machine learning model is sufficiently trained, especially when the dataset that has been annotated by the oracle is large enough.
  • Pre-training also makes it possible to quickly approach a deployable system that plays its role as a predictor during interactive annotation assisting the oracle, while allowing re-training with the new annotated data.
  • pre-training requires only a minimal number of initial annotated training data because the oracle corrects the first predictions and the model improves quickly.
  • Initial annotated data is also kept as test data to track the progress of re-training.
  • the system allows a strong and crossed interaction between annotation and prediction: the selection of the data to be annotated is carried out with the aim of achieving a better prediction of the machine learning model and the prediction by the learning model allows assistance in the generation of annotations of non-annotated data.
  • the active learning method selects data based on specific criteria that can be internal to the data, external to the data (metadata), dependent on the data already annotated, and/or the complexity of annotation, etc.
  • the interactive annotation method is for example derived from prior art methods, for example a method derived from the methods described in one of the following publications:
  • UI-Net Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model, in: Eurographics Workshop on Visual Computing for Biology and Medicine, The Eurographics Association.
  • Prior art systems use different means for data selection, automatic annotation and validation/correction by the oracle. While some prior art systems already use machine learning models at each step of training, none of these prior art systems combine data selection, automatic annotation and validation/correction by the oracle for training a single model. Prior art systems typically use a model that is already fully trained at at least one of the steps, in particular for the annotation tool, and this already fully trained model has not benefited from the data improvements that the other functions within the scope of the invention would have provided.
  • data annotation is typically performed by pre-trained tools, whether based on a machine learning model or not.
  • Prior art machine learning models use an active learning method regardless of the annotation mechanism. If active learning is performed, it is not used for the improvement of the machine learning model that is used for automatic annotation and interactive annotation.
  • the selection of the set of The most useful unannotated data to be annotated is performed via the machine learning model using one or more of the following selection criteria: one or more internal properties of the data, one or more external properties of the data, the uncertainty of prediction by the machine learning model, the representativeness of the annotated data and the unannotated data, a criterion of difficulty of annotation of the data.
  • the system is configured for the annotation of new non-annotated data for at least one of the following applications: segmentation of new non-segmented or partially segmented images, detection and recognition of objects in new images, classification of new images, categorization of new images.
  • the system is deployed for its final task and allows the annotation of new data not used for training, i.e. not used for pre-training or re-training.
  • the invention also relates to a method for selecting training data of a machine learning model and annotating training data of the model, said model being pre-trained with initial annotated training data, comprising: a step of selection by the machine learning model and among the set of unannotated data, a set of the most useful unannotated data to be annotated via an active learning method, a step of automatic annotation by the machine learning model of the most useful unannotated data to provide automatically annotated data, a step of receiving at least one validation and/or one correction of annotation of the automatically annotated data by an oracle to provide validated data, a step of training the machine learning model by the validated data for the selection of the most useful unannotated data and for the interactive annotation.
  • the invention also relates to a combined system, a combined method and a combined computer program product characterized in combination by all or part of the features mentioned above or below.
  • FIG. 1 is a schematic view of a combined selection system training data of a machine learning model and annotation of training data of the model according to one embodiment of the invention.
  • machine learning model is represented with a neural network symbol for illustrative purposes but other types of machine learning models can be used.
  • Figure 1 schematically represents a combined system 10 for selecting training data of a machine learning model 12 and for annotating training data of the machine learning model 12 according to an embodiment of the invention.
  • the system 10 comprises the machine learning model 12 and two databases for managing unannotated data and annotated data, in particular a first database 14 comprising a set of unannotated data and a second database 16 comprising a set of annotated data.
  • the machine learning model 12 is pre-trained with initial annotated training data. Initial test data are also provided for testing the performance of the system after pre-training and each future training.
  • MRI segmentation of the female pelvis on a dataset created by the applicant comprising ninety-seven MRI series representing three thousand and sixty-six slices in total; “CT” (computed tomography) type segmentation of the liver and pancreas on the “Medical Segmentation” datasets.
  • CT computed tomography
  • the model can be pre-trained on 12% (fifteen out of ninety-seven data volumes), 11% (fifteen out of one hundred and thirty-one data volumes), 12% (thirty-three out of two hundred and eighty-two volumes) and 3.3% (forty out of one thousand and three hundred volumes) of all data respectively to be able to efficiently produce quality annotations for the rest of the data using the system.
  • Machine learning model 12 is for example a neural network, for example an existing encoder-decoder neural network architecture, for example a ResNet34 encoder described in the publication “He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770-778.” and a generic decoder.
  • a neural network for example an existing encoder-decoder neural network architecture, for example a ResNet34 encoder described in the publication “He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770-778.” and a generic decoder.
  • the system 10 when deployed, is able to automatically predict an annotation of the unannotated data, allowing a correction or verification by an oracle 18, which is a human user sufficiently competent for this correction or verification, in other words an human expert.
  • Correction or verification by the oracle is particularly important in the medical context where the annotation of non-annotated data presents a challenge for a future therapeutic or surgical intervention, for example for a segmentation of medical images intended for the generation of 3D models of organs for assistance with surgery by augmented reality.
  • the machine learning model 12 requires re-training to improve its performance. This training requires data that must be annotated by the human oracle 18.
  • the first database 14 may include a large amount of unannotated data.
  • the unannotated data is sorted to obtain a set 20 of the most useful unannotated data, thereby reducing the time required for the human oracle 18 to generate annotated training data.
  • the learning model 12 thus includes as inputs all of the most useful unannotated data and interactions from the human oracle 18 for annotating the unannotated data.
  • the human oracle 18 has access to a user interaction loop 22 connected by the machine learning model 12.
  • the interaction loop 22 receives data automatically annotated by the machine learning model 12.
  • the user interaction loop 22 makes it possible to take into account a correction and/or validation by the human oracle 18 of this annotated data, via a user interface of the interaction loop 22.
  • the machine learning model 12 takes into account any corrections and proposes a new automatic annotation accordingly.
  • machine learning model 12 is a method that can be called interactive annotation.
  • a machine learning model system comprising such an interaction loop for taking into account annotations is for example described in the publication of the inventors of the present application: Mikhailov, L, Chauveau, B., Bourdel, N., Bartoli, A. (2022).
  • a Deep Learning-Based Interactive Medical Image Segmentation Framework In: Wu, S., Shabestari, B., Xing, L. (eds) Applications of Medical Artificial Intelligence. AMAI 2022. Lecture Notes in Computer Science, vol 13540. Springer, Cham.
  • the machine learning model 12 provides validated data 24 as output, which are stored in the second database 16.
  • the new annotated data added to the second database 16 thus allow retraining of the machine learning model 12.
  • An active learning method that can be used is for example a method based on uncertainty-based data selection through entropy calculation. This method is based in particular on the principle that a prediction with a high entropy linked to an uncertain prediction is representative of informative data and useful for training the model.
  • Figure 2 schematically represents a combined method 100 of selecting training data of a machine learning model and annotating training data of the model according to an embodiment of the invention.
  • the method 100 represents an iteration of data selection and data annotation that can be implemented by a system as described with reference to FIG. 1.
  • the method can be implemented iteratively for the annotation of the unannotated data, until it is stopped or when all of the unannotated data are annotated.
  • Each iteration ends with a retraining of the machine learning model from a training set comprising the new annotated data.
  • the stopping of the iterations can in particular be carried out when the tests carried out with the test data give an error rate lower than a certain threshold, or when an expert human, for example the oracle, considers that the performance of the annotation by the machine learning model is sufficient.
  • the method 100 comprises a step 104 of selection by the machine learning model and from the set of unannotated data 102, of a set 20 of the most useful unannotated data via an active learning method.
  • the data 200 considered less useful are ignored and are not annotated at this iteration.
  • the method 100 then comprises a step 106 of interactive annotation, comprising in particular a step of automatic annotation by the machine learning model of the most useful non-annotated data 20 to provide automatically annotated data, and a step of receiving at least one validation and/or one correction of annotation of the data automatically annotated by an oracle to provide validated data 24, which are annotated data and the annotation of which has been validated by the human oracle.
  • the method finally comprises a step 108 of training the machine learning model using the validated data 24 for the selection of the most useful unannotated data and for interactive annotation.
  • This improves the machine learning model for the next iteration, and the model is retrained at each iteration.
  • This increases the number of annotated data used for training at each iteration, ensuring that the most useful data are annotated to optimize the annotation time by the oracle and increase the performance of the machine learning model.
  • data selection maximizes the impact of each annotation on the performance of the machine learning model, allowing for rapid improvement in the performance of the machine learning model.
  • the criteria for selecting the most useful data can for example be: related to the internal properties of the data, for example the type of image or the quality of the image; related to the external properties of the data, of the metadata type, for example a selection according to the age or sex of the patient from whom the data comes, the source of the data, etc.; related to the uncertainty of prediction by an inference of the machine learning model on all the non-annotated data; related to the representativeness, for example the images of which a characteristic is at a position far from the average; or personalized criteria, for example a pre-selection of data considered as the most difficult to annotate by a human oracle.
  • the invention can also be used in contexts other than image segmentation, in particular object detection and recognition, and/or image classification, more generally any type of task related to image processing, medical or not, or to computer vision, including, but not limited to classification, categorization, segmentation, semantic segmentation, instance segmentation, object detection, localization.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un système combiné de sélection et d'annotation de données d'entraînement d'un modèle d'apprentissage automatique, comprenant le modèle (12) et deux bases (14, 16) de données comprenant respectivement des données non-annotées ou annotées, caractérisé en ce que le modèle est configuré pour sélectionner un ensemble de données (20) non-annotées les plus utiles à annoter, annoter automatiquement les données (20) non-annotées les plus utiles, recevoir au moins une correction et/ou une validation d'annotation des données par un oracle (18) pour fournir des données (24) validées stockées dans la deuxième base (16) de données, et être réentraîné par les données validées de la deuxième base (16) de données pour la sélection des données non-annotées les plus utiles et pour l'annotation interactive.

Description

DESCRIPTION
TITRE DE L’INVENTION : SYSTÈME ET PROCÉDÉ COMBINÉ DE SÉLECTION, D’ANNOTATION ET D’ENTRAÎNEMENT VIA UN
MODÈLE D’APPRENTISSAGE AUTOMATIQUE PARTAGÉ
Domaine technique de l’invention
L’invention concerne un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique, d’annotation de données d’entraînement du modèle, d’entraînement du modèle d’apprentissage et de prédiction à partir du modèle, un procédé et un produit programme d’ordinateur associé. L’invention est notamment destinée à l’annotation de données liées à la segmentation d’images médicales, par exemple provenant d’imagerie par résonance magnétique (IRM) ou d’une tomodensitométrie (TDM) pour l’identification d’organes sur chacune des images de coupe obtenues par FIRM ou la TDM afin de recréer une modélisation 3D de l’organe à partir de ces segmentations, entre autres applications.
Arrière-plan technologique
La segmentation d’images est une technique permettant d’associer à chaque pixel ou voxel d’une image 2D ou 3D un label représentatif de l’objet, de la texture ou de l’état, etc. correspondant audit pixel ou voxel.
La segmentation d’image est notamment utilisée dans un contexte médical pour déterminer les organes, les tissus, les fluides, etc. visibles sur une image 2D ou 3D. Une telle image est par exemple obtenue par IRM et permet de former un modèle 3D de l’organe visé et par exemple de son environnement et de la tumeur à opérer. Cette création d’un modèle 3D nécessite la segmentation des images obtenues par FIRM.
La segmentation des images peut se baser sur l’usage d’un modèle d’apprentissage automatique permettant une segmentation automatique ou semi- automatique des images, respectivement sans ou avec l’aide d’un utilisateur permettant d’apporter des corrections. Le modèle d’apprentissage automatique agit comme un prédicteur qui, en recevant comme entrée une image à segmenter, fournit une image segmentée en sortie. L’utilisation d’un modèle d’apprentissage automatique nécessite un entraînement préalable du modèle en utilisant un grand nombre de données annotées, c’est-à-dire des images dans lesquelles les différentes classes de segmentation ont été déterminées et annotées/labellisées. Ces données annotées sont regroupées dans un jeu de données (dataset en anglais) dédié à l’entraînement, la validation et le test du modèle implémenté.
La disponibilité des données annotées est une condition essentielle pour l’entraînement supervisé des systèmes d'apprentissage automatique, qui se définissent par leur capacité à apprendre à partir de ces données annotées pour faire des prédictions ou prendre des décisions. Au cœur d'un système d'apprentissage automatique se trouve le prédicteur, qui est formé par un modèle d’apprentissage automatique représentant ce qui a été appris par le système grâce aux données annotées.
Les performances et les capacités de généralisation de l'apprentissage automatique supervisé dépendent intrinsèquement de la taille et de la composition de l'ensemble de données d'apprentissage annotées. Cependant, l'annotation des données est généralement coûteuse : elle nécessite souvent une expertise particulière dans le domaine cible, ainsi qu'une attention particulière aux détails et des entrées précises de la part de l'annotateur. C'est particulièrement vrai dans le domaine de l'imagerie médicale, qui nécessite des connaissances médicales approfondies et présente souvent des difficultés d'interprétation. Cette nécessité d’intervention d’un expert complexifie l'augmentation de la taille de l'ensemble des données : l'annotation de grandes quantités de données nécessite une main-d'œuvre spécialisée et un temps considérable.
Des solutions ont été proposées pour simplifier la tâche d’annotation de différentes manières.
En particulier, des solutions pour atténuer le problème de l'annotation des données ont été par exemple l'apprentissage semi-supervisé, faiblement supervisé (weakly supervised en anglais), auto- supervisé et non supervisé, l'apprentissage à zéro coup (zero-shot learning en anglais) et à coup unique (one-shot learning en anglais), l'apprentissage par transfert (transfer learning en anglais) et l'apprentissage multitâche (multitask learning en anglais). Ils permettent de limiter ou de supprimer complètement le besoin d'annotation humaine. Toutefois, leur applicabilité est limitée : ils sont sensibles aux erreurs, ce qui les rend moins adaptés aux problèmes complexes, critiques pour la sécurité et à forte variabilité, typiquement comme les problèmes liés aux applications cliniques et médicales. Ces solutions offrent moins de contrôle sur la qualité des résultats, nécessitent généralement des algorithmes plus complexes et un réglage plus fin, et peuvent aboutir à des modèles moins précis et moins interprétables que l'apprentissage supervisé. L'apprentissage supervisé offre généralement un moyen plus simple d'obtenir de meilleures performances lorsque l'on dispose de suffisamment de données annotées, et reste donc pertinent et utilisé par de nombreuses approches actuelles. Ainsi, l'annotation de données par un expert humain reste utile et la recherche d’une solution pour accélérer le processus d'annotation est pertinente. L’expert humain joue ainsi le rôle d’oracle pour le système d’apprentissage automatique.
Le paradigme de base de l'apprentissage automatique comporte trois phases principales : une phase d’annotation des données, une phase d'entraînement du modèle d’apprentissage automatique prédicteur, et une phase d’évaluation. Le système peut ensuite revenir à la phase d’annotation de données si nécessaire. Dans les systèmes les plus simples, la phase d’annotation de données peut utiliser un système d’annotation classique tel que 3D Slicer, qui nécessite beaucoup d’efforts et de temps pour un oracle humain. Dans les systèmes plus avancés, cette phase peut être améliorée en utilisant la sélection des données non annotées les plus utiles par apprentissage actif (Active Learning en anglais). Cette solution permet de réduire le nombre de données à annoter tout en permettant d’obtenir des données annotées pertinentes pour l’entraînement du modèle d’apprentissage automatique.
Des solutions proposent de remplacer le système d’annotation classique par un prédicteur d’annotation dédié. Le prédicteur d'annotation suggère une annotation que l'expert peut valider ou corriger. Cela soulève la question de l'entraînement de ce prédicteur d'annotation. Les systèmes existants entraînent le prédicteur d'annotation une fois qu'une quantité suffisante de données a été annotée par le système d'annotation classique. Ils sont sous-optimaux, car le prédicteur d'annotation et le système d’annotation classique ne s'améliorent pas au fur et à mesure que les données sont annotées. Un objectif est donc d’exploiter les données au fur et à mesure de leur annotation pour entraîner le prédicteur d’annotation pour améliorer le mécanisme d’annotation lui-même.
D’autres solutions proposent de compléter l’entraînement grâce à un autoapprentissage self-training en anglais) permettant d’utiliser des pseudo-étiquettes (pseudo-labels en anglais) pour fournir automatiquement des données labellisées par le modèle pour l’entraînement du modèle lui-même. Ces données pseudo- étiquetées ou pseudo-labellisées ne présentent toutefois pas la même qualité d’annotation que des données d’entraînement ayant bénéficié d’une correction ou validation, par exemple avec un système d’annotation classique.
Les inventeurs ont donc cherché une solution pour simplifier la tâche d’annotation pour l’oracle en améliorant les systèmes existants.
Objectifs de l’invention
L’invention vise à fournir un système, un procédé et un produit programme d’ordinateur de sélection de données d’entraînement d’un modèle d’apprentissage automatique, d’annotation de données d’entraînement du modèle, d’entraînement du modèle et de prédiction à partir du modèle.
L’invention vise également à fournir, dans au moins un mode de réalisation, un système permettant d’utiliser un modèle d’apprentissage partagé pour réaliser la sélection de données d’entraînement, et assister un oracle à l’annotation de données d’entraînement, tout en permettant le déploiement du modèle partagé en tant que prédicteur à tout moment.
L’invention vise également à fournir, dans au moins un mode de réalisation, un système, un procédé et un produit programme d’ordinateur permettant la segmentation d’image, la détection et reconnaissance d'objets, et/ou la classification d'image, plus généralement de tout type de tâche lié au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limité à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation. Exposé de l’invention
Pour ce faire, l’invention concerne un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, comprenant : le modèle pré-entraîné avec des données initiales annotées d’entraînement, une première base de données comprenant un ensemble de données non- annotées, une deuxième base de données configurée pour le stockage de données annotées, caractérisé en ce que le modèle est configuré pour : sélectionner, parmi l’ensemble des données non-annotées de la première base de données, un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, annoter automatiquement les données non-annotées les plus utiles pour fournir des données automatiquement annotées, recevoir, via une interface d’annotation interactive du système associée au modèle d’apprentissage automatique, au moins une correction et/ou une validation d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, lesdites données validées étant stockées dans la deuxième base de données, être réentraîné par les données validées de la deuxième base de données pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive.
Un système combiné selon l’invention permet donc de gérer différentes fonctions autour d’un modèle d’apprentissage partagé de sorte à ce que le modèle d’apprentissage bénéficie de cette interaction entre les différentes fonctions.
En particulier, le système permet d’une part de sélectionner les données d’entraînement en déterminant quelles données non annotées sont les plus utiles pour l’entraînement grâce à l’apprentissage actif mis en œuvre par le modèle d’apprentissage automatique. Cela permet de réduire le nombre de données à annoter par un oracle et de permettre un ajout continu de nouvelles données à annoter en priorisant les données non annotées qui contribuent le plus à améliorer les performances du système au prochain cycle d’entraînement.
Le système permet également de fournir une solution permettant d’assister un oracle humain à l’annotation interactive de ces données les plus utiles en utilisant ce même modèle d’apprentissage automatique afin de simplifier l’annotation des données. L’annotation est ainsi contrôlée et guidée par le modèle d’apprentissage automatique. Plus le modèle est efficace, moins le nombre d'interactions requises par l’oracle est important pour l’annotation des données, en particulier car le nombre de corrections nécessaire par l’oracle réduit. Les données annotées sont aussi de meilleure qualité que les données pseudo-étiquetées provenant d’un autoapprentissage self -training).
Enfin, les données annotées sont elles-mêmes utilisées pour le réentraînement du modèle, en particulier pour l’assistance au tri des données non- annotées les plus utiles à annoter, et pour l’assistance à l’oracle pour l’annotation des données non annotées. Le modèle d’apprentissage automatique est plus connu sous le nom de modèle de Machine Learning en anglais. Le temps passé à annoter les données est ainsi réduit pour l’oracle, tout en conservant le contrôle de l’annotation. Le réentraînement désigne de façon large plusieurs solutions permettant d’entraîner le modèle avec l’ensemble des données annotées comprenant les données annotées déjà utilisées pour l’entraînement et les données validées, qui peut consister en : un réentraînement complet, un réglage fin (fine tuning en anglais) ou un apprentissage continu (continual learning en anglais).
Ce réentraînement est réalisé de façon automatique ou par un expert humain compétent pour agir sur le modèle d’apprentissage automatique.
La fusion de ces fonctions permet d’une part de limiter les ressources nécessaires pour l’annotation, et d’autre part d’améliorer les performances globales du système d’annotation, en combinant les canaux d’apprentissage et d’annotation dans un seul système combiné par l’usage conjoint de l’apprentissage actif par le modèle d’apprentissage automatique et de l’annotation interactive utilisant le même modèle d’apprentissage automatique comme assistant d’annotation. L’utilisation d’un modèle d’apprentissage automatique partagé permet donc également de faciliter la gestion du modèle et de réduire les interventions et délais techniques et logistiques, en particulier en combinant la phase d’annotation et la phase entraînement du modèle d’apprentissage automatique.
Cette approche permet également de faciliter le déploiement du modèle d’apprentissage automatique pour sa fonction de prédiction automatique d’annotations pour les données non-annotées lorsque le modèle d’apprentissage automatique est suffisamment entraîné, en particulier lorsque le jeu de données ayant été annotées par l’oracle est de taille suffisamment importante. Le préentraînement permet en outre de s’approcher rapidement d’un système déployable qui joue son rôle de prédicteur lors de l’annotation interactive assistant l’oracle, tout en permettant le réentraînement avec les nouvelles données annotées. En outre, le pré-entraînement ne nécessite qu’un nombre minimal de données initiales d’entraînement annotées car l’oracle corrige les premières prédictions et le modèle s’améliore rapidement. Des données initiales annotées sont également conservées comme données de test pour suivre la progression du réentraînement.
Ainsi, le système permet une interaction forte et croisée entre l’annotation et la prédiction : la sélection des données à annoter est réalisée dans l’objectif de parvenir à une meilleure prédiction du modèle d’apprentissage automatique et la prédiction par le modèle d’apprentissage permet l’assistance à la génération des annotations des données non-annotées.
La méthode d’apprentissage actif sélectionne les données sur des critères spécifiques qui peuvent être internes à la donnée, externes à la donnée (métadonnées), dépendant des données déjà annotées, et/ou de la complexité d’annotation, etc.
La méthode d’annotation interactive est par exemple dérivée de méthodes de l’art antérieur, par exemple une méthode dérivées des méthodes décrites dans une des publications suivantes :
Amrehn, M., Gaube, S., Unberath, M., Schebesch, F., Horz, T., Strumia, M., Steidl, S., Kowarschik, M., Maier, A., 2017. UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model, in: Eurographics Workshop on Visual Computing for Biology and Medicine, The Eurographics Association.
Zhou, T., Li, L., Bredell, G., Li, J., Konukoglu, E., 2021. Quality-aware memory network for interactive volumetric image segmentation, in: MICCAI.
Liao, X., Li, W., Xu, Q., Wang, X., Jin, B., Zhang, X., Zhang, Y., Wang, Y., 2020. Iteratively -refined interactive 3d medical image segmentation with multi-agent reinforcement learning. 2020 IEEE/CVE Conference on Computer Vision and Pattern Recognition (CVPR), 9391-9399.
Les systèmes de l’art antérieur utilisent des moyens différents pour la sélection de données, leur annotation automatique et la validation/correction par l’oracle. Si certains systèmes de l’art antérieur utilisent déjà des modèles d’apprentissage automatique à chaque étape de l’entraînement, aucun de ces systèmes de l’art antérieur ne combinent la sélection de données, leur annotation automatique et la validation/correction par l’oracle pour l’entraînement d’un même modèle. Les systèmes de l’art antérieur utilisent généralement un modèle déjà pleinement entraîné à au moins une des étapes, en particulier pour l’outil d’annotation, et ce modèle déjà pleinement entraîné n’a pas bénéficié des améliorations de données qu’auraient fourni les autres fonctions dans le cadre de l’invention.
Par exemple, l’annotation de données est généralement réalisée par des outils pré-entraînés, basés sur un modèle d’apprentissage automatique ou non. Les modèles d’apprentissage automatique de l’art antérieur utilisent une méthode d’apprentissage actif indépendamment du mécanisme d’annotation. Si de l’apprentissage actif est réalisé, il n’est pas utilisé pour l’amélioration du modèle d’apprentissage automatique qui est utilisé pour l’annotation automatique et l’annotation interactive.
Avantageusement et selon l’invention, la sélection de l’ensemble de données non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : une ou plusieurs propriétés internes de la donnée, une ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données.
Avantageusement et selon l’invention, le système est configuré pour l’annotation de nouvelles données non-annotées pour au moins une des applications suivantes : segmentation de nouvelles images non segmentées ou partiellement segmentées, détection et reconnaissance d’objets dans des nouvelles images, classification de nouvelles images, catégorisation de nouvelles images.
Selon cet aspect de l’invention, le système est déployé pour sa tâche finale et permet l’annotation de nouvelles données n’ayant pas servi à l’entraînement, c’est-à-dire n’ayant pas servi au pré-entraînement ou au réentraînement.
Selon d’autres variantes de l’invention, le système est utilisé dans d’autres applications, en particulier tout type de tâche liée au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limitée à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation, etc.
L’invention concerne également un procédé de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit modèle étant pré-entraîné avec des données initiales annotées d’entraînement, comprenant : une étape de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données non-annotées, d’un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, une étape d’annotation automatique par le modèle d’apprentissage automatique des données non-annotées les plus utiles pour fournir des données automatiquement annotées, une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, une étape d’entraînement du modèle d’apprentissage automatique par les données validées pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive.
Avantageusement, le procédé combiné selon l’invention est configuré pour être mis en œuvre par un système combiné selon l’invention.
Avantageusement, le système combiné selon l’invention est configuré pour mettre en œuvre le procédé combiné selon l’invention.
L’invention concerne également un produit programme d’ordinateur programme d’ordinateur combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes du procédé combiné selon l’invention.
L’invention concerne également un système combiné, un procédé combiné et un produit programme d’ordinateur combiné caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.
Liste des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
[Fig. 1] est une vue schématique d’un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention.
[Fig. 2] est une vue schématique d’un procédé combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention.
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
Dans les figures, le modèle d’apprentissage automatique est représenté avec un symbole représentant un réseau neuronal à des fins illustratives mais d’autres types de modèle d’apprentissage automatique peuvent être utilisés.
La figure 1 représente schématiquement un système 10 combiné de sélection de données d’entraînement d’un modèle 12 d’apprentissage automatique et d’annotation de données d’entraînement du modèle 12 d’apprentissage automatique selon un mode de réalisation de l’invention. Le système 10 comprend le modèle 12 d’apprentissage automatique et deux bases de données permettant la gestion de données non-annotées et de données annotées, en particulier une première base 14 de données comprenant un ensemble de données non-annotées et une deuxième base 16 de données comprenant un ensemble de données annotées. Le modèle 12 d’apprentissage automatique est pré-entraîné avec des données initiales annotées d’entraînement. Des données initiales de test sont également prévues pour tester la performance du système après le pré-entraînement et chaque entraînement futur.
En particulier, le système a été testé sur quatre jeux de données : segmentation IRM du bassin féminin sur un jeu de données créé par le demandeur comprenant quatre-vingt-dix-sept séries d’IRM représentant trois mille soixante-six coupes au total ; segmentation de type « CT » (computed tomography en anglais) du foie et du pancréas sur les jeux de données « Medical Segmentation Decathlon », décrits dans la publication « Simpson, A.L., Antonelli, M., Bakas, S., Bilello, M., Farahani, K., Ginneken, B.V., Kopp-Schneider, A., Landman, B.A., Litjens, G.J., Menze, B. H., Ronneberger, O., Summers, R.M., Bilic, P., Christ, P.F., Do, R. K., Gollub, M.J., Golia- Pernicka, J., Heckers, S., Jarnagin, W.R., McHugo, M., Napel, S., Vorontsov, E., Maier-Hein, L., & Cardoso, M.J. (2019). A large annotated medical image dataset for the development and evaluation of segmentation algorithms. ArXiv, abs/1902.09063. » : « Liver tumors, Tumeurs du foie » et « Pancreas tumors, Tumeurs du pancréas » ; segmentation IRM du rein sur le jeu de données AMOS, décrit dans la publication : Yuanfeng, Ji & Bai, Haotian & Yang, Jie & Ge, Chongjian & Zhu, Ye & Zhang, Ruimao & Li, Zhen & Zhang, Lingyan & Ma, Wanling & Wan, Xiang & Luo, Ping. (2022). AMOS: A Large-Scale Abdominal Multi-Organ Benchmark for Versatile Medical Image Segmentation . 10.48550/arXi v .2206.08023.
Le modèle peut être pré-entraîné sur respectivement 12 % (quinze volumes de données sur quatre-vingt-dix-sept), 11 % (quinze volumes de données sur cent trente et un), 12 % (trente-trois volumes sur deux cent quatre-vingt-deux) et 3,3 % (quarante volumes sur mille trois cents) de toutes les données pour pouvoir produire efficacement des annotations de qualité pour le reste des données en utilisant le système.
Le modèle 12 d’apprentissage automatique est par exemple un réseau neuronal, par exemple une architecture de réseau neuronal encodeur-décodeur existante, par exemple un encodeur ResNet34 décrit dans la publication « He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770- 778. » et un décodeur générique.
Le système 10, lorsqu’il est déployé, est en mesure de prédire automatiquement une annotation des données non-annotées, en permettant une correction ou vérification par un oracle 18, qui est un utilisateur humain suffisamment compétent pour cette correction ou vérification, autrement dit un expert humain. La correction ou vérification par l’oracle est en particulier importante dans le contexte médical où l’annotation des données non-annotées présente un enjeu pour une intervention future thérapeutique ou chirurgical, par exemple pour une segmentation d’images médicale destinées à la génération de modèles 3D d’organes pour l’assistance à la chirurgie par réalité augmentée.
Suite au pré-entraînement, le modèle 12 d’apprentissage automatique nécessite un réentraînement pour l’amélioration de ses performances. Cet entraînement nécessite des données qui doivent être annotées par l’oracle 18 humain.
La première base 14 de données peut comprendre un nombre important de données non-annotées. Les données non-annotées sont triées pour obtenir un ensemble 20 de données non-annotées les plus utiles permettant ainsi de réduire le temps nécessaire à l’oracle 18 humain pour générer des données annotées d’entraînement.
Le modèle 12 d’apprentissage comprend ainsi comme entrées l’ensemble des données non-annotées les plus utiles et des interactions provenant de l’oracle 18 humain pour l’annotation des données non-annotées. En particulier, l’oracle 18 humain a accès à une boucle 22 d’interaction utilisateur reliée par le modèle 12 d’apprentissage automatique. La boucle 22 d’interaction reçoit des données annotées automatiquement par le modèle 12 d’apprentissage automatique. La boucle 22 d’interaction utilisateur permet de prendre en compte une correction et/ou validation de l’oracle 18 humain de ces données annotées, via une interface utilisateur de la boucle 22 d’interaction. Le modèle 12 d’apprentissage automatique prend en compte les éventuelles corrections et propose une nouvelle annotation automatique en conséquence.
L’utilisation du modèle 12 d’apprentissage automatique comme assistant d’annotation est une méthode pouvant être appelée méthode d’annotation interactive (ou interactive annotation en anglais).
Un système de modèle d’apprentissage automatique comprenant une telle boucle d’interaction pour la prise en compte des annotations est par exemple décrit dans la publication des inventeurs de la présente demande : Mikhailov, L, Chauveau, B., Bourdel, N., Bartoli, A. (2022). A Deep Learning-Based Interactive Medical Image Segmentation Framework. In: Wu, S., Shabestari, B., Xing, L. (eds) Applications of Medical Artificial Intelligence. AMAI 2022. Lecture Notes in Computer Science, vol 13540. Springer, Cham.
Une fois l’annotation validée par l’oracle 18 humain, le modèle 12 d’apprentissage automatique fournit en sortie des données 24 validées, qui sont stockées dans la deuxième base 16 de données. Les nouvelles données annotées ajoutées dans la deuxième base 16 de données permettent ainsi un réentraînement du modèle 12 d’apprentissage automatique.
Outre ses fonctions d’annotation automatique, le modèle 12 d’apprentissage automatique est lui-même configuré pour fournir en sortie les données 20 les plus utiles à annoter qui seront utilisées en entrée pour être annotées. Cette méthode est appelée méthode d’apprentissage actif ou active learning en anglais.
Une méthode d’apprentissage actif pouvant être utilisée est par exemple une méthode basée sur la sélection de données basée sur l'incertitude par le biais du calcul de l'entropie. Cette méthode se base en particulier sur le principe qu’une prédiction présentant une entropie élevée liée à une prédiction incertaine est représentative d’une donnée informative et utile pour l’entraînement du modèle.
La figure 2 représente schématiquement un procédé 100 combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention.
Le procédé 100 représente une itération de sélection de données et d’annotation de données pouvant être mise en œuvre par un système tel que décrit en référence avec la figure 1. En pratique, le procédé peut être mis en œuvre de façon itérative pour l’annotation des données non-annotées, jusqu’à son arrêt ou lorsque l’ensemble des données non-annotées sont annotées. Chaque itération se termine par un réentraînement du modèle d’apprentissage automatique à partir d’un jeu d’entraînement comprenant les nouvelles données annotées. L’arrêt des itérations peut notamment s’effectuer lorsque les tests effectués avec les données de test donnent un taux d’erreur inférieur à un certain seuil, ou bien lorsqu’un expert humain, par exemple l’oracle, considère que les performances de l’annotation par le modèle d’apprentissage automatique sont suffisantes.
Le procédé 100 comprend une étape 104 de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données 102 non-annotées, d’un ensemble 20 de données non-annotées les plus utiles via une méthode d’apprentissage actif. Les données 200 considérées comme moins utiles sont ignorées et ne sont pas annotées à cette itération.
La détermination des données 20 les plus utiles est réalisée par inférence à partir du modèle d’apprentissage automatique et se base sur des critères d’utilité qui peuvent être : liées aux propriétés internes de la donnée, par exemple le type de donnée ou la qualité de la donnée ou une valeur intrinsèque de la donnée (valeur d’un champ, valeur d’un pixel ou d’une zone de pixel, etc.) ; liées aux propriétés externes de la donnée, de type métadonnée, par exemple l’origine de la donnée, etc. ; liées à l’incertitude de prédiction, car les données pour lesquelles le prédicteur donne des résultats avec l’incertitude la plus grande indiquent généralement que ces données sont les plus informatives ; liées à la représentativité, la sélection de données à caractéristique unique étant plus informative ; ou des critères personnalisés, par exemple une combinaison de ces critères ou d’autres critères.
Le procédé 100 comprend ensuite une étape 106 d’annotation interactive, comprenant notamment une étape d’annotation automatique par le modèle d’apprentissage automatique des données 20 non-annotées les plus utiles pour fournir des données automatiquement annotées, et une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données 24 validées, qui sont des données annotées et dont l’annotation a été validée par l’oracle humain.
Le procédé comprend enfin une étape 108 d’entraînement du modèle d’apprentissage automatique par les données 24 validées pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive. Le modèle d’apprentissage automatique est ainsi amélioré pour l’itération suivante, et le modèle est ainsi réentraîné à chaque itération. Le nombre de données annotées ayant servi à l’entraînement est ainsi augmenté à chaque itération, en garantissant que les données les plus utiles sont annotées pour optimiser le temps d’annotation par l’oracle et augmenter les performances du modèle d’apprentissage automatique. En outre, la sélection de données maximise l’impact de chaque annotation sur les performances du modèle d’apprentissage automatique, ce qui permet une amélioration rapide des performances du modèle d’apprentissage automatique.
Le système et le procédé peuvent en particulier être utilisés pour la segmentation d’images médicales. Dans ce contexte, les critères de sélection des données les plus utiles peuvent par exemple être : liées aux propriétés internes de la donnée, par exemple le type d’image ou la qualité de l’image ; liées aux propriétés externes de la donnée, de type métadonnée, par exemple une sélection selon l’âge ou le sexe du patient dont proviennent les données, la source de la donnée, etc. ; liées à l’incertitude de prédiction par une inférence du modèle d’apprentissage automatique sur toutes les données non-annotées ; liées à la représentativité, par exemple les images dont une caractéristique est à une position éloignée de la moyenne ; ou des critères personnalisés, par exemple une pré-sélection de données considérées comme les plus difficiles à annoter par un oracle humain.
L’invention peut également être utilisée dans d’autres contextes que la segmentation d’image, en particulier la détection et reconnaissance d'objets, et/ou la classification d'image, plus généralement tout type de tâche liée au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limitée à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation.

Claims

REVENDICATIONS
1. Système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, comprenant : le modèle (12) d’apprentissage automatique pré-entraîné avec des données initiales annotées d’entraînement, une première base (14) de données comprenant un ensemble de données non-annotées, une deuxième base (16) de données configurée pour le stockage de données annotées, caractérisé en ce que le modèle d’apprentissage automatique est configuré pour : sélectionner, parmi l’ensemble des données non-annotées de la première base de données, un ensemble de données (20) non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, annoter automatiquement les données (20) non-annotées les plus utiles pour fournir des données automatiquement annotées, recevoir, via une interface (22) d’annotation interactive du système associée au modèle d’apprentissage automatique, au moins une correction et/ou une validation d’annotation des données automatiquement annotées par un oracle (18) pour fournir des données (24) validées, lesdites données (24) validées étant stockées dans la deuxième base (16) de données, être réentraîné par les données validées de la deuxième base (16) de données pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive.
2. Système combiné selon la revendication 1, caractérisé en ce que la sélection de l’ensemble de données (20) non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : un ou plusieurs propriétés internes de la donnée, un ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données.
3. Système combiné selon l’une des revendications 1 ou 2, caractérisé en ce qu’il est configuré pour l’annotation de nouvelles données non-annotées pour au moins une des applications suivantes : segmentation de nouvelles images non segmentées ou partiellement segmentées, détection et reconnaissance d’objets dans des nouvelles images, classification de nouvelles images, catégorisation de nouvelles images.
4. Procédé de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle d’apprentissage automatique, ledit modèle d’apprentissage automatique étant pré-entraîné avec des données initiales annotées d’entraînement, comprenant : une étape (104) de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données non-annotées, d’un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, une étape d’annotation automatique par le modèle d’apprentissage automatique des données (20) non-annotées les plus utiles pour fournir des données automatiquement annotées, une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, une étape (108) d’entraînement du modèle d’apprentissage automatique par les données validées pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive.
5. Procédé selon la revendication 4, caractérisé en ce que la sélection de l’ensemble de données non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : un ou plusieurs propriétés internes de la donnée, un ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données.
6. Produit programme d’ordinateur combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle d’apprentissage automatique, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes du procédé combiné selon l’une des revendications 4 ou 5.
EP24709410.5A 2023-03-09 2024-03-08 Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé Pending EP4677458A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2302198A FR3146529A1 (fr) 2023-03-09 2023-03-09 Système et procédé combiné de sélection, d’annotation et d’entraînement via un modèle d’apprentissage automatique partagé
PCT/EP2024/056148 WO2024184506A1 (fr) 2023-03-09 2024-03-08 Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé

Publications (1)

Publication Number Publication Date
EP4677458A1 true EP4677458A1 (fr) 2026-01-14

Family

ID=87137039

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24709410.5A Pending EP4677458A1 (fr) 2023-03-09 2024-03-08 Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé

Country Status (3)

Country Link
EP (1) EP4677458A1 (fr)
FR (1) FR3146529A1 (fr)
WO (1) WO2024184506A1 (fr)

Also Published As

Publication number Publication date
WO2024184506A1 (fr) 2024-09-12
FR3146529A1 (fr) 2024-09-13

Similar Documents

Publication Publication Date Title
US11954610B2 (en) Active surveillance and learning for machine learning model authoring and deployment
Gorriz et al. Cost-effective active learning for melanoma segmentation
Singh et al. Shifting to machine supervision: annotation-efficient semi and self-supervised learning for automatic medical image segmentation and classification
Bakasa et al. Stacked ensemble deep learning for pancreas cancer classification using extreme gradient boosting
Araújo et al. Artificial intelligence in healthcare applications targeting cancer diagnosis—part I: data structure, preprocessing and data organization
Lu et al. Deep learning-based image classification for integrating pathology and radiology in AI-assisted medical imaging
Hanzala et al. A hybrid approach for cervical cancer detection: Combining D-CNN, transfer learning, and ensemble models
Vu et al. Heritage image classification by convolution neural networks
Cho et al. Heterogeneous domain adaptation method for tomato leaf disease classification base on CycleGAN
Wang et al. An intelligent identification system combining image and DNA sequence methods for fruit flies with economic importance (Diptera: Tephritidae)
Al Huda et al. DeepMelaNet: Advancing melanoma stage classification in skin cancer diagnosis
EP4677458A1 (fr) Système et procédé combiné de sélection, d'annotation et d'entraînement via un modèle d'apprentissage automatique partagé
Patel Enhanced blood cell classification performance and conditional image generation with transformer based models
Alqassab et al. Identification of multiple ocular diseases using a hybrid quantum convolutional neural network with fundus images
Wasson et al. Image Quality Assessment: edge based entropy features estimation using Soft Computing Techniques
Kothadiya et al. Leveraging explainable AI in deep learning for brain tumor detection
Ramesh et al. EfficientNetB7-Based Deep Learning for Skin Lesion Classification
Malagila Raphael et al. Deep generative models in echocardiography: a scoping review of trends and future perspectives
AlNasi et al. Multi-task Weakly Supervised Intrapartum Ultrasound Measurements
He Deep learning approach for cell nuclear pore detection and quantification over high resolution 3D data
Suresh et al. MedicoCNN-GNN: A Hybrid Model with Integrated Attention Mechanism for Medical Image Classification
Baby et al. Multi-modal Representations for Fine-grained Multi-label Critical View of Safety Recognition
Falissard Deep learning methods in epidemiology and their applications to electronic health databases
Namaemba Maize Crop Pests and Diseases Classification Using Hybrid Models.
US20250246010A1 (en) Cross-modality pixel alignment and cell-to-cell registration across various imaging modalities

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250905

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40130940

Country of ref document: HK