FR3092423A1 - Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle - Google Patents
Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle Download PDFInfo
- Publication number
- FR3092423A1 FR3092423A1 FR1900898A FR1900898A FR3092423A1 FR 3092423 A1 FR3092423 A1 FR 3092423A1 FR 1900898 A FR1900898 A FR 1900898A FR 1900898 A FR1900898 A FR 1900898A FR 3092423 A1 FR3092423 A1 FR 3092423A1
- Authority
- FR
- France
- Prior art keywords
- video image
- probability
- image clip
- change
- resubmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 23
- 238000013473 artificial intelligence Methods 0.000 title description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 35
- 210000000056 organ Anatomy 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000002059 diagnostic imaging Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 1
- 238000012512 characterization method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000012285 ultrasound imaging Methods 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 206010002906 aortic stenosis Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Exemple d’abrégé Le procédé comprend : l'affichage d'images vidéo (130) d'un organe (120) sur un écran d'un ordinateur (110) ; la soumission des images à un réseau neuronal (150) entrainé pour produire une probabilité d'existence d'une caractéristique physique de l'organe ; en réponse, la réception de la probabilité en association avec une cartographie de pixels déterminants des images dont découle la probabilité ; la soumission répétitive de variations (170) des images au réseau neuronal, chaque resoumission comprenant un changement d'un ou plusieurs des pixels ; pour chaque resoumission, la mesure d'un changement de probabilité et la corrélation de ce changement au pixel changé ; puis la superposition d'un indicateur graphique en correspondance de chacun des pixels comme étant déterminants sur la base d'un seuil de changement de la probabilité Figure à publier avec l’abrégé : Fig. 1
Description
Domaine de l’invention
La présente invention concerne le domaine de la classification de caractéristiques d'images au moyen de réseaux neuronaux profonds et, plus particulièrement, l'introspection de réseaux neuronaux profonds lors de classifications d'images.
Dans le contexte de la vision artificielle, la reconnaissance d'image est la capacité d'un logiciel à identifier des personnes, des endroits, des objets, des actions et des écritures sur des images. Pour effectuer une reconnaissance d'image, un processeur informatique utilise une vision artificielle et un dispositif de production d'image tel qu'une caméra ou un dispositif d'imagerie médicale. En appliquant un réseau neuronal convolutionnel, le processeur considère l'image objet et calcule la probabilité selon laquelle chaque caractéristique d'image contribue à la classification correcte de l'image.
Généralement, la complexité et la taille du réseau neuronal convolutionnel utilisé pour effectuer une reconnaissance d'image sont telles que le processus qui sous-tend la classification particulière du réseau neuronal pour une image objet s'en trouve obscurci. L'obscurité de la prise de décision par un réseau neuronal a contribué à un certain degré de méfiance envers l'utilisation de l'intelligence artificielle pour la classification d'une image objet. Compte tenu des risques reconnus de méfiance envers l'utilisation de l'intelligence artificielle pour la classification d'images, il a été suggéré d'utiliser l'introspection afin d'apporter une certaine visibilité dans la prise de décision d'un réseau neuronal convolutionnel profond.
À cet égard, généralement, la plateforme hôte pour un réseau neuronal peut inclure une interface programmatique pour l'introspection du réseau neuronal, incluant la récupération de sorties déterminantes par les différents nœuds et couches du réseau neuronal en temps réel. Malgré cela, l'interprétation de la sortie déterminante d'un réseau neuronal peut être difficile, sujette à erreur et manquant de guidage définitif quant aux caractéristiques précises d'une image d'entrée sur lesquelles s'appuyer pour produire une classification résultante pour l'image d'entrée. Des procédés d'introspection de réseaux neuronal plus récents se sont révélés prometteurs, mais ne sont pas suffisants pour produire le type d'informations nécessaire, en particulier en lien avec l'imagerie diagnostique médicale telle que l'échographie, où les images contiennent de nombreuses caractéristiques fines et ésotériques, utilisent souvent une vidéo à fréquence de trame élevée, sont utilisées pour des mesures et des calculs importants, et présentent souvent beaucoup de bruit.
BREF RESUME DE L’INVENTION
Des formes de réalisation de la présente invention remédient aux insuffisances de la technique en ce qui concerne l'introspection de réseaux neuronaux et met à disposition un procédé, un système et un produit de programme informatique nouveaux et non évidents pour une cartographie de saillance. Selon une forme de réalisation de l'invention, un procédé de cartographie de saillance comprend l'affichage d'images sous forme de clip vidéo d'un organe sur un écran d'affichage d'un ordinateur, la soumission du clip d'images vidéo à un réseau neuronal entrainé pour produire une probabilité d'existence d'une caractéristique physique de l'organe et, en réponse à la soumission, la réception de la probabilité en association avec une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo dont découle la probabilité.
Le procédé comprend en outre la soumission répétitive de variations du clip d'images vidéo au réseau neuronal, où chaque resoumission comprend un changement d'au moins l'un des pixels du clip d'images vidéo. Ensuite, en réponse à chaque resoumission, un changement de probabilité est mesuré et ce changement est ensuite corrélé aux pixels changés. Par exemple, le changement de probabilité mesuré peut être calculé sous la forme d'une combinaison d'une moyenne d'un gradient de la sortie après les resoumissions répétées et d'une mesure d'une variance du gradient de la sortie après les resoumissions répétées, les soumissions répétées commençant par des images vidéo vierges et se terminant par une approximation du clip d'images vidéo affiché. Finalement, un indicateur graphique est superposé sur l'affichage du clip d'images vidéo en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré seuil de la probabilité.
Selon un aspect de la forme de réalisation, le procédé comprend, en réponse à chaque resoumission, le stockage d'une indication de changement pour chaque pixel dans une unique carte correspondant à chaque trame du clip d'images vidéo, de telle sorte que les corrélations du changement soient indiquées par une position de chaque pixel dans l'unique carte. Selon un autre aspect de la forme de réalisation, le procédé comprend en outre le floutage de l'unique carte avant l'exécution de la superposition. Selon encore un autre aspect, le procédé comprend en outre le filtrage de l'unique carte pour en éliminer les valeurs anormales. Selon encore un autre aspect de la forme de réalisation, la resoumission répétée comprend l'ajout d'un bruit blanc au clip d'images vidéo pour produire une version plus bruitée du clip d'images vidéo. Finalement, selon encore un autre aspect de la forme de réalisation, le procédé comprend en outre le stockage, en lien avec différents diagnostics, de différents ensembles de paramètres dont l'utilisation est requise dans la resoumission répétée.
Selon une autre forme de réalisation de l'invention, un système de traitement de données d'imagerie est configuré pour effectuer une cartographie de saillance. Le système comprend un système informatique hôte qui comprend un ou plusieurs ordinateurs, qui comprennent chacun une mémoire et au moins un processeur. Le système comprend également un programme informatique d'imagerie diagnostique s'exécutant dans la mémoire du système informatique hôte. Le programme fournit des instructions de commande à un dispositif d'imagerie médicale auquel il est couplé de manière communicative, et fournit également une interface au dispositif d'imagerie médicale.
Le programme comprend également des instructions de programme informatique activées, lors de leur exécution, pour afficher un clip d'images vidéo d'un organe sur un écran d'affichage du système informatique hôte, soumettre le clip d'images vidéo à un réseau neuronal se trouvant dans la mémoire du système informatique hôte et entrainé pour produire une probabilité d'existence d'une caractéristique physique de l'organe et, en réponse à la soumission, recevoir la probabilité en association avec une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo dont découle la probabilité. Les instructions de programme informatique sont en outre activées pour effectuer la resoumission répétée de variations du clip d'images vidéo au réseau neuronal, chaque resoumission comprenant un changement d'au moins l'un des pixels dans le clip d'images vidéo. À ce titre, en réponse à chaque resoumission, un changement de probabilité est mesuré et ce changement est corrélé aux pixels changés. Finalement, un indicateur graphique est superposé sur l'affichage du clip d'images vidéo en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré seuil de la probabilité.
Des aspects additionnels de l'invention seront en partie définis dans la description ci-après, et seront en partie évidents à la lecture de la description, ou pourront être appris par la mise en pratique de l'invention. Les aspects de l'invention seront réalisés et atteints au moyen des éléments et combinaisons particuliers ici exposés. On comprendra que la description générale ci-dessus et la description détaillée ci-après ne sont fournies qu'à titre d'exemple et d'explication et ne sont pas restrictives de l'invention telle qu'exposée ici.
BREVE DESCRIPTION DES DIFFERENTES VUES DES DESSINS
Les dessins joints, qui sont incorporés dans la présente description et qui en font partie, illustrent des formes de réalisation de l'invention et, associés à la description, permettent d'expliquer les principes de l'invention. Les formes de réalisation illustrées dans le présent document sont actuellement préférées, étant cependant entendu que l'invention n'est pas limitée aux arrangements et instruments précis représentés. Sur les dessins :
Des formes de réalisation de l'invention mettent à disposition une cartographie de saillance. Selon une forme de réalisation de l'invention, un clip d'images vidéo est reçu pour un organe, et une caractéristique physique de l'organe est identifiée grâce à l'utilisation d'un réseau neuronal profond entrainé pour identifier la caractéristique physique et pour produire une probabilité correspondante de l'identification de la caractéristique physique. En particulier, le réseau neuronal profond, en plus de produire l'identification, renvoie également une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo dont découle la probabilité. Ensuite, une variation du clip d'images vidéo en termes de changement d'un ou plusieurs pixels du clip d'images vidéo est présentée au réseau neuronal et un gradient résultant de la sortie est mesuré en relation avec les pixels changés. Le processus se répète, chaque répétition incluant différents changements des pixels du clip d'images vidéo. De manière facultative, une moyenne du gradient résultant de la sortie peut être mesurée sur plusieurs resoumissions de variations du clip d'images vidéo allant d'une image vierge à une approximation proche de l'image originale. De plus, le gradient moyenné peut être combiné à une mesure d'une variance du gradient pour produire une valeur composite. La valeur composite est ensuite corrélée à un ou plusieurs des pixels changés. Ensuite, un indicateur graphique peut être superposé sur l'affichage du clip d'images vidéo en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré du gradient ou d'une valeur composite au-delà d'une valeur seuil.
À titre d'illustration supplémentaire, la Figure 1 représente de manière schématique un processus de cartographie de saillance permettant d'interpréter la confiance en un traitement d'images par intelligence artificielle. Tel que représenté sur la Figure 1, un appareil d'imagerie par ultrasons 110 acquière un clip d'images vidéo 130 d'un organe cible 120. Le clip d'images vidéo 130 comprend différentes images 140 agencées en une séquence de trames où chacune des images 140 présente une grille de pixels. Chacune des différentes images 140 du clip d'images vidéo 130 est ensuite traitée en tant qu'entrée d'un réseau neuronal 150 entrainé pour caractériser une ou plusieurs caractéristiques présentes dans le clip d'images vidéo 130 relativement à l'organe cible 120. Ensuite, le clip d'images vidéo 130 est présenté sous la forme d'une image ultrasonore 155 de la structure physique 165 de l'organe cible 120 sur un écran d'affichage 160 de l'appareil d'imagerie par ultrasons 110. Sur l'écran d'affichage 160 est également présentée la caractérisation, produite par le réseau neuronal 150, de l'une ou plusieurs caractéristiques présentes dans le clip d'images vidéo 130.
On notera que l'introspection du réseau neuronal 150 peut être effectuée dans l'appareil d'imagerie par ultrasons 110. À cet égard, pour chacune des images 140 du clip d'images vidéo 130, une séquence de variations 170 est appliquée à l'image concernée des images 140. Chacune des variations 170 représente l'image concernée des images 140 avec des informations pour un ou plusieurs des pixels perturbés de façon à représenter ladite image concernée des images 140 dans une plage allant d'une image vierge à une approximation proche de ladite image concernée des images 140. Chacune des variations 170 est ensuite soumise à un prétraitement 180, par exemple par ajout d'un bruit blanc aux variations 170. Ensuite, chaque variation est soumise au réseau neuronal 150 et un gradient est mesuré sur la sortie du réseau neuronal 150 en conséquence de la soumission de la variation 170 au réseau neuronal 150. Des valeurs basées sur le gradient 185 peuvent être en outre soumises à un traitement statistique, par exemple calcul de moyenne ou calcul de variance.
De manière facultative, le gradient peut être soumis à un filtrage 190 de façon à éliminer les valeurs anormales, et à effectuer un lissage des données. Les valeurs résultantes sont des valeurs basées sur le gradient 185 qui peuvent ensuite être stockées dans une grille d'image 195, à chaque position correspondant à un pixel de la variation 170 qui a été retiré de l'image concernée. Une fois que la grille d'image 195 a été complétée, les valeurs basées sur le gradient 185 tombant en dessous d'un seuil sont retirées, tandis que les valeurs basées sur le gradient 185 excédant un seuil sont transformées en une valeur de pixel pour un rendu sur l'écran d'affichage 160. En particulier, la grille d'image résultante 195 est superposée sur les images ultrasonores 155 de la structure physique 165 de façon à produire une accentuation visuelle 175 des parties de la structure physique 165 les plus affectées par la variation 170 et ainsi considérer les plus déterminantes pour le réseau neuronal 150 pour le calcul de la caractérisation des images ultrasonores 155.
Le processus décrit en lien avec la Figure 1 peut être mis en œuvre dans un système de traitement de données d'imagerie. À titre d'illustration supplémentaire, la Figure 2 montre de manière schématique un système de traitement de données d'imagerie configuré pour effectuer une cartographie de saillance permettant d'interpréter la confiance en un traitement d'images par intelligence artificielle. Le système comprend un système informatique hôte 210 qui comprend un ordinateur ayant au moins un processeur, une mémoire et un écran d'affichage. Le système informatique hôte 210 est couplé à un dispositif d'imagerie par ultrasons 220 adapté pour acquérir des images ultrasonores par le positionnement d'un crayon d'imagerie (non représenté) à proximité d'un organe cible d'intérêt d'un sujet mammifère.
Fait important, le système informatique hôte 210 est couplé de manière communicative à un moyen de stockage fixe 240, soit local, soit à distance ("cloud"), sur lequel sont stockés un réseau neuronal 250 et une interface programmatique 260 du réseau neuronal 250. Le réseau neuronal 250 est entrainé pour caractériser une ou plusieurs caractéristiques de l'organe cible, par exemple une valeur de fraction d'éjection du cœur, ou la présence ou l'absence de sténose aortique. Pour ce faire, un clip d'images vidéo provenant du dispositif d'imagerie par ultrasons est fourni par l'intermédiaire d'une application d'imagerie 230 au réseau neuronal 250, qui accède alors à l'interface programmatique 260 de façon à pouvoir émettre la caractérisation du clip d'images vidéo en association avec un indice de confiance de cette caractérisation. L'application d'imagerie 230 restitue alors sur l'écran d'affichage du système informatique hôte 210 non seulement le clip d'images vidéo, mais également la caractérisation, et éventuellement l'indice de confiance.
Selon une forme de réalisation de l'invention, un module de cartographie de saillance 300 est inclus à l'application d'imagerie 230. Le module de cartographie de saillance 300 comporte des instructions de programme informatique qui, lorsqu'elles sont exécutées dans la mémoire du système informatique hôte 210, sont activées pour générer, pour chaque image du clip d'images vidéo, une séquence de différentes variations, en modifiant un ou plusieurs pixels pour chaque image. L'ensemble d'images résultant va d'une image vierge à une approximation proche de l'image originale. Les instructions de programme sont en outre activées pour soumettre chaque image de l'ensemble, en séquence, au réseau neuronal 250, par l'intermédiaire de l'interface programmatique 260, et pour lire un gradient de la sortie du réseau neuronal 250. De manière facultative, les instructions de programme sont activées pour calculer une moyenne dans le temps des gradients mesurés, et également une variance dans le temps des gradients mesurés, et pour combiner informatiquement la moyenne et la variance pour produire une valeur basée sur le gradient sur une plage d'une valeur de pixel d'une image.
Les instructions de programme sont ensuite activées pour stocker les valeurs basées sur le gradient dans une grille d'image 270, à une position correspondant aux pixels qui ont été retirés des images de l'ensemble. Les instructions de programme sont en outre activées pour filtrer les valeurs dans la grille d'image 270, par exemple en appliquant un filtre passe-bande destiné à supprimer des valeurs éloignées qui sont soit trop petites, soit trop élevées. Les instructions de programme sont encore activées pour appliquer une fonction de floutage à la grille d'image 270, tel qu'un filtre passe-bas gaussien. Finalement, les instructions de programme sont activées pour commander à l'application d'imagerie 230 de superposer une présentation de la grille d'image 295 sur l'affichage du clip d'images vidéo provenant du dispositif d'imagerie par ultrasons 220. L'aspect résultant du clip d'images vidéo sur l'écran d'affichage du système informatique hôte 210 révèlera les pixels les plus saillants sur le clip d'images vidéo, considérés par le réseau neuronal 250 pour produire la caractérisation du clip d'images vidéo.
À titre d'illustration supplémentaire du fonctionnement du module de cartographie de saillance, la Figure 3 est un organigramme illustrant un processus de cartographie de saillance permettant d'interpréter la confiance en un traitement d'images par intelligence artificielle. En commençant au bloc 305, un clip d'images vidéo d'un organe cible est acquis par un dispositif d'imagerie par ultrasons et, au bloc 310, le clip d'images vidéo est soumis à un réseau neuronal s'entrainant pour effectuer une caractérisation basée sur l'image de l'organe cible. Au bloc 315, une caractérisation de sortie du clip d'images vidéo est reçue du réseau neuronal et, au bloc 320, le clip d'images vidéo est affiché avec la caractérisation de la sortie sur l'écran d'affichage du système informatique hôte.
Au bloc 325, une grille d'image est ensuite initialisée de façon à avoir les mêmes dimensions que chaque image du clip d'images vidéo. Au bloc 330, une première image à pixel modifié est générée par le fait de perturber au moins un pixel de l'image correspondante du clip d'images vidéo. Ensuite, au bloc 335, l'image modifiée est envoyée au réseau neuronal et, au bloc 340, un gradient est reçu du réseau neuronal en référence à la caractérisation de sortie de l'image variée, par comparaison à l'image précédemment soumise du clip d'images vidéo. Au bloc 345, le gradient est corrélé aux pixels changeants retirés de l'image modifiée et, au bloc 350, la corrélation est transformée en une valeur de pixel et stockée dans la grille d'image a une ou plusieurs positions, correspondant chacune aux pixels changeants. Au bloc de décision 355, s'il reste d'autres images modifiées à générer et à traiter, le procédé revient au bloc 330 pour la création d'une nouvelle image modifiée avec des pixels additionnels retirés de l'image du clip d'images vidéo.
Au bloc de décision 355, lorsqu'il ne reste plus d'image modifiée à générer et à traiter dans le réseau neuronal, au bloc 360, la grille d'image est filtrée pour éliminer les valeurs anormales et, au bloc 365, les valeurs de la grille d'image sont lissées. Ensuite, au bloc 370, les valeurs sont soumises à un traitement statistique, par exemple un calcul de moyenne ou de variance. Finalement, au bloc 375, la grille d'image est superposée sur le rendu du clip d'images vidéo, sur l'écran d'affichage du système informatique hôte, de façon à accentuer visuellement les pixels du clip d'images vidéo qui sont les plus saillants du point de vue du réseau neuronal pour la production de la caractérisation du clip d'images vidéo.
La présente invention peut être mise en œuvre dans un système, un procédé, un produit de programme informatique ou toute combinaison de ceux-ci. Le produit de programme informatique peut comprendre un ou plusieurs supports de stockage lisibles par ordinateur, contenant des instructions de programme lisibles par ordinateur, destinées à faire en sorte qu'un processeur exécute des aspects de la présente invention. Le support de stockage lisible par ordinateur peut être un dispositif tangible qui peut retenir et stocker des instructions destinées à être utilisées par un dispositif d'exécution d'instructions. Le support de stockage lisible par ordinateur peut être, par exemple, mais sans y être limité, un dispositif de stockage électronique, un dispositif de stockage magnétique, un dispositif de stockage optique, un dispositif de stockage électromagnétique, un dispositif de stockage semi-conducteur, ou toute combinaison appropriée de ceux-ci.
Les instructions de programme lisibles par ordinateur décrites dans le présent document peuvent être téléchargées dans des dispositifs de calcul/traitement respectifs depuis un support de stockage lisible par ordinateur ou sur un ordinateur externe ou un dispositif de stockage externe, via un réseau. Les instructions de programme lisibles par ordinateur peuvent s'exécuter entièrement sur l'ordinateur de l'utilisateur, partiellement sur l'ordinateur de l'utilisateur, sous la forme d'un progiciel autonome, partiellement sur l'ordinateur de l'utilisateur et partiellement sur un ordinateur distant ou entièrement sur l'ordinateur ou serveur distant. Des aspects de la présente invention sont décrits ici en liaison avec des en organigrammes et/ou des schémas fonctionnels de procédés, d'appareils (systèmes) et de produits de programmes informatiques selon des formes de réalisation de l'invention. On comprendra que chaque bloc des organigrammes et/ou des schémas fonctionnels, et des combinaisons des blocs des organigrammes et/ou des schémas fonctionnels, peuvent être mis en œuvre par des instructions de programme lisibles par ordinateur.
Ces instructions de programme lisibles par ordinateur peuvent être fournies à un processeur d'un ordinateur d'usage général, un ordinateur d'usage spécial, ou un autre appareil de traitement de données programmable pour produire une machine, de telle sorte que les instructions, qui s'exécutent via le processeur de l'ordinateur ou autre appareil de traitement de données programmable, créent des moyens de mise en œuvre des fonctions/actions spécifiées dans le ou les blocs des organigrammes et/ou des schémas fonctionnels. Ces instructions de programme lisibles par ordinateur peuvent également être stockées dans un support de stockage lisible par ordinateur qui peut commander un ordinateur, un appareil de traitement de données programmable et/ou d'autres dispositifs afin qu'ils fonctionnent d'une manière particulière, de telle sorte que le support de stockage lisible par ordinateur sur lequel sont stockées des instructions comprenne un article manufacturé incluant des instructions qui mettent en œuvre des aspects de la fonction/action spécifiée dans le ou les blocs des organigrammes et/ou des schémas fonctionnels.
Les instructions de programme lisibles par ordinateur peuvent être chargées sur un ordinateur, un autre appareil de traitement de données programmable, ou un autre dispositif pour faire en sorte qu'une série d'étapes opérationnelles soit exécutée sur l'ordinateur, autre appareil programmable ou autre dispositif pour produire un processus mis en œuvre par ordinateur, de telle sorte que les instructions qui s'exécutent sur l'ordinateur, autre appareil programmable, ou autre dispositif, mettent en œuvre les fonctions/actions spécifiées dans le ou les blocs des organigrammes et/ou des schémas fonctionnels.
L'organigramme et les schémas fonctionnels des Figures illustrent l'architecture, la fonctionnalité et le fonctionnement de mises en œuvre possibles de systèmes, procédés et produits de programmes informatiques selon différentes formes de réalisation de la présente invention. À cet égard, chaque bloc de l'organigramme ou des schémas fonctionnels peut représenter un module, un segment ou une portion d'instructions, qui inclut une ou plusieurs instructions exécutables pour la mise en œuvre d'une ou plusieurs fonctions logiques spécifiées. Dans certaines autres formes de réalisation, les fonctions notées dans le bloc peuvent être exécutées dans un autre ordre que celui qui est noté sur les figures. Par exemple, deux blocs présentés à la suite l'un de l'autre peuvent, en fait, être exécutés essentiellement en même temps, ou bien les blocs peuvent parfois être exécutés dans l'ordre inverse, selon la fonctionnalité en jeu. On notera également que chaque bloc des schémas fonctionnels et/ou de l'organigramme, et des combinaisons de blocs des schémas fonctionnels et/ou de l'organigramme, peuvent être mis en œuvre par des systèmes matériels à usage spécial qui exécutent les fonctions ou actions spécifiées ou des combinaisons d'instructions informatiques et de matériel à usage spécial.
Finalement, la terminologie utilisée ici a pour seul objet de décrire des formes de réalisation particulières et n'est pas destinée à limiter l'invention. Telles qu'utilisées ici, les formes au singulier de "un", "une", "le" et "la" sont destinées à inclure également les formes au pluriel, sauf mention contraire. On comprendra que les termes "comprend" et/ou "comprenant", tels qu'utilisés ici, spécifient la présence de caractéristiques, entités, étapes, opérations, éléments et/ou composants mentionnés, mais n'excluent pas la présence ou l'ajout d'un ou une ou plusieurs autres caractéristiques, entités, étapes, opérations, éléments et/ou composants, et/ou groupes de ceux-ci.
Les structures, matériaux, actions et équivalents correspondants de tous les moyens ou étapes et éléments fonctionnels ici exposés sont destinés à inclure tous et toutes structures, matériaux ou actions pour l'exécution de la fonction en combinaison avec d'autres éléments ici spécifiquement exposés. La description de la présente invention a été donnée à titre d'illustration et de description, mais n'a pas pour objet d'être exhaustive ou de limiter l'invention à la forme décrite. De nombreuses modifications et variantes seront évidentes pour l'homme du métier sans sortir du cadre et de l'esprit de l'invention. La forme de réalisation a été choisie et décrite afin de mieux expliquer les principes de l'invention et l'application pratique, et de permettre à d'autres personnes du métier de comprendre l'invention pour différentes formes de réalisation ayant différentes modifications telles qu'appropriées à l'utilisation particulière envisagée.
L'invention ayant ainsi été décrite en détail et en référence à ses formes de réalisation, il sera bien évident que des modifications et variantes sont possibles sans sortir du cadre de l'invention telle qu'exposée ici.
Claims (20)
- Procédé de cartographie de saillance, caractérisé en ce qu'il comprend :
l'affichage d'un clip d'images vidéo (130) d'un organe (120) sur un écran d'affichage (160) d'un ordinateur (110) ;
la soumission du clip d'images vidéo (130) à un réseau neuronal (150) entrainé pour produire une ou plusieurs sorties associées à une probabilité d'existence d'une caractéristique physique de l'organe (120) ;
en réponse à la soumission, la réception de la probabilité en association avec une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo (130) dont découle la probabilité ;
la soumission répétitive de variations (170) du clip d'images vidéo (130) au réseau neuronal (150), chaque resoumission comprenant un changement de l'un des pixels du clip d'images vidéo (130) ;
en réponse à chaque resoumission, la mesure d'un changement de probabilité et la corrélation de ce changement à celui des pixels qui a été changé ; et
la superposition d'un indicateur graphique sur l'affichage (160) du clip d'images vidéo (130) en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré seuil de la probabilité. - Procédé selon la revendication 1, comprenant en outre le calcul du changement de probabilité mesuré sous la forme d'une combinaison d'une moyenne d'un gradient de la sortie après les resoumissions répétées et d'une mesure d'une variance du gradient de la sortie après les resoumissions répétées, les soumissions répétées commençant par des images vidéo vierges et se terminant par une approximation du clip d'images vidéo affiché.
- Procédé selon la revendication 1, comprenant en outre, en réponse à chaque resoumission, le stockage d'une indication de changement pour chaque pixel dans une unique carte correspondant à chaque trame du clip d'images vidéo, les corrélations du changement étant indiquées par une position de chaque pixel dans l'unique carte.
- Procédé selon la revendication 3, comprenant en outre le floutage de l'unique carte avant l'exécution de la superposition.
- Procédé selon la revendication 4, comprenant en outre le filtrage de l'unique carte pour en éliminer les valeurs anormales.
- Procédé selon la revendication 1, dans lequel la resoumission répétée comprend l'ajout d'un bruit blanc au clip d'images vidéo pour produire une version plus bruitée du clip d'images vidéo.
- Procédé selon la revendication 1, comprenant en outre le stockage, en lien avec différents diagnostics, de différents ensembles de paramètres dont l'utilisation est requise dans la resoumission répétée.
- Système de traitement de données d'imagerie configuré pour effectuer une cartographie de saillance, système caractérisé en ce qu'il comprend :
un système informatique hôte (210) comprenant un ou plusieurs ordinateurs, qui comprennent chacun une mémoire et au moins un processeur ;
un programme informatique d'imagerie diagnostique s'exécutant dans la mémoire du système informatique hôte (210), le programme fournissant des instructions de commande à un dispositif d'imagerie médicale (220) auquel il est couplé de manière communicative, le programme fournissant également une interface au dispositif d'imagerie médicale (220), le programme comprenant en outre des instructions de programme informatique activées, lors de leur exécution, pour effectuer :
l'affichage d'un clip d'images vidéo d'un organe sur un écran d'affichage du système informatique hôte (210) ;
la soumission du clip d'images vidéo à un réseau neuronal (250) se trouvant dans la mémoire du système informatique hôte (210) et entraîné pour produire une sortie associée à une probabilité d'existence d'une caractéristique physique de l'organe ;
en réponse à la soumission, la réception de la probabilité en association avec une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo dont découle la probabilité ;
la resoumission répétitive de variations du clip d'images vidéo au réseau neuronal (250), chaque resoumission comprenant un changement d'au moins l'un des pixels du clip d'images vidéo ;
en réponse à chaque resoumission, la mesure d'un changement de probabilité et la corrélation de ce changement à celui des pixels qui a changé ; et
la superposition d'un indicateur graphique sur l'affichage du clip d'images vidéo en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré seuil de la probabilité. - Système selon la revendication 8, dans lequel les instructions de programme informatique sont en outre activées pour effectuer le calcul du changement de probabilité mesuré sous la forme d'une combinaison d'une moyenne d'un gradient de la sortie après les resoumissions répétées et d'une mesure d'une variance du gradient de la sortie après les resoumissions répétées, les soumissions répétées commençant par des images vidéo vierges et se terminant par une approximation du clip d'images vidéo affiché.
- Système selon la revendication 8, dans lequel les instructions de programme informatique sont en outre activées pour effectuer, en réponse à chaque resoumission, le stockage d'une indication de changement pour chaque pixel dans une unique carte correspondant à chaque trame du clip d'images vidéo, les corrélations du changement étant indiquées par une position de chaque pixel dans l'unique carte.
- Système selon la revendication 10, dans lequel les instructions de programme informatique sont en outre activées pour effectuer un floutage de l'unique carte avant l'exécution de la superposition.
- Système selon la revendication 11, dans lequel les instructions de programme informatique sont en outre activées pour effectuer un filtrage de l'unique carte pour en éliminer les valeurs anormales.
- Système selon la revendication 8, dans lequel la resoumission répétée comprend l'ajout d'un bruit blanc au clip d'images vidéo pour produire une version plus bruitée du clip d'images vidéo.
- Programme d'ordinateur comprenant des instructions de code de programme pour, lorsque ledit programme est exécuté sur un ordinateur, exécuter les étapes d'un procédé comprenant :
l'affichage d'un clip d'images vidéo (130) d'un organe (120) sur un écran d'affichage (160) d'un ordinateur (110) ;
la soumission du clip d'images vidéo (130) à un réseau neuronal (150) entrainé pour produire une ou plusieurs sorties associées à une probabilité d'existence d'une caractéristique physique de l'organe (120) ;
en réponse à la soumission, la réception de la probabilité en association avec une cartographie, à l'échelle du pixel, de pixels déterminants du clip d'images vidéo (130) dont découle la probabilité ;
la soumission répétitive de variations (170) du clip d'images vidéo (130) au réseau neuronal (150), chaque resoumission comprenant un changement de l'un des pixels du clip d'images vidéo (130) ;
en réponse à chaque resoumission, la mesure d'un changement de probabilité et la corrélation de ce changement à celui des pixels qui a été changé ; et
la superposition d'un indicateur graphique sur l'affichage (160) du clip d'images vidéo (130) en correspondance de chacun des pixels qui ont été déterminés, via la resoumission répétée, comme étant déterminants sur la base d'un changement mesuré seuil de la probabilité. - Programme d'ordinateur selon la revendication 14, dans lequel le procédé comprend en outre le calcul du changement de probabilité mesuré sous la forme d'une combinaison d'une moyenne d'un gradient de la sortie après les resoumissions répétées et d'une mesure d'une variance du gradient de la sortie après les resoumissions répétées, les soumissions répétées commençant par des images vidéo vierges et se terminant par une approximation du clip d'images vidéo affiché.
- Programme d'ordinateur selon la revendication 14, dans lequel le procédé comprend en outre, en réponse à chaque resoumission, le stockage d'une indication de changement pour chaque pixel dans une unique carte correspondant à chaque trame du clip d'images vidéo, les corrélations du changement étant indiquées par une position de chaque pixel dans l'unique carte.
- Programme d'ordinateur selon la revendication 16, dans lequel le procédé comprend en outre le floutage de l'unique carte avant l'exécution de la superposition.
- Programme d'ordinateur selon la revendication 17, dans lequel le procédé comprend en outre le filtrage de l'unique carte pour en éliminer les valeurs anormales.
- Programme d'ordinateur selon la revendication 14, dans lequel la resoumission répétée comprend l'ajout d'un bruit blanc au clip d'images vidéo pour produire une version plus bruitée du clip d'images vidéo.
- Programme d'ordinateur selon la revendication 14, dans lequel le procédé comprend en outre le stockage, en lien avec différents diagnostics, de différents ensembles de paramètres dont l'utilisation est requise dans la resoumission répétée.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1900898A FR3092423B1 (fr) | 2019-01-31 | 2019-01-31 | Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1900898 | 2019-01-31 | ||
| FR1900898A FR3092423B1 (fr) | 2019-01-31 | 2019-01-31 | Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3092423A1 true FR3092423A1 (fr) | 2020-08-07 |
| FR3092423B1 FR3092423B1 (fr) | 2021-01-08 |
Family
ID=67185246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1900898A Active FR3092423B1 (fr) | 2019-01-31 | 2019-01-31 | Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3092423B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2616413A (en) * | 2022-03-02 | 2023-09-13 | Continental Autonomous Mobility Germany GmbH | Computer-implemented method for tracking an object, device for tracking an object, and system for tracking an object |
-
2019
- 2019-01-31 FR FR1900898A patent/FR3092423B1/fr active Active
Non-Patent Citations (5)
| Title |
|---|
| "A Guide to Convolutional Neural Networks for Computer Vision", 1 January 2018, MORGAN & CLAYPOOL, article SALMAN KHAN: "A Guide to Convolutional Neural Networks for Computer Vision", pages: 150 - 157, XP055636461 * |
| "Mind Computation", 1 January 2017, WORLD SCIENTIFIC, article SHI ZHONGZHI: "Mind Computation", pages: 364 - 371, XP055636328 * |
| JOST TOBIAS SPRINGENBERG: "Striving for Simplicity: The All Convolutional Net", ICLR WORKSHOP, vol. abs/1412.6806v3, 13 April 2015 (2015-04-13), pages 1 - 14, XP055293816 * |
| RUTH FONG ET AL: "Interpretable Explanations of Black Boxes by Meaningful Perturbation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 11 April 2017 (2017-04-11), XP080762246, DOI: 10.1109/ICCV.2017.371 * |
| YUAN GAO: "Detection and Characterization of the Fetal Heartbeat in Free-hand Ultrasound Sweeps with Weakly-supervised Two-streams Convolutional Networks", LECTURE NOTES IN COMPUTER SCIENCE LNCS 10434, MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI 2017 : 20TH INT. CONF., QUEBEC CITY, QC, CANADA, SEPTEMBER 11-13, 2017, PROCEEDINGS, PART II, 4 September 2017 (2017-09-04), pages 305 - 313, XP055635922, ISBN: 978-3-319-66185-8, Retrieved from the Internet <URL:https://link.springer.com/content/pdf/10.1007/978-3-319-66185-8_35.pdf> [retrieved on 20191025] * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2616413A (en) * | 2022-03-02 | 2023-09-13 | Continental Autonomous Mobility Germany GmbH | Computer-implemented method for tracking an object, device for tracking an object, and system for tracking an object |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3092423B1 (fr) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
| EP3138079B1 (fr) | Procédé de suivi de forme dans une scène observée par un capteur asynchrone de lumière | |
| US9210327B2 (en) | Blur aware photo feedback | |
| EP3412245B1 (fr) | Procédé d'évaluation d'une goutière orthodontique | |
| EP3271869B1 (fr) | Procédé de traitement d'un signal asynchrone | |
| US10769852B2 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
| WO2019127102A1 (fr) | Procédé et appareil de traitement d'informations, dispositif de traitement en nuage et produit programme d'ordinateur | |
| EP2469501A2 (fr) | Procédé de détermination d'une erreur de localisation dans une image géoréférencée et dispositif associé | |
| FR3047103A1 (fr) | Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee | |
| CN112967180A (zh) | 一种生成对抗网络的训练方法、图像风格转换方法和装置 | |
| EP2909671B1 (fr) | Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur de champ | |
| EP3145405B1 (fr) | Procédé de détermination d'au moins un paramètre comportemental | |
| FR3092423A1 (fr) | Cartographie de saillance d'images pendant une classification d'images par intelligence artificielle | |
| CN110349108B (zh) | 处理图像的方法、装置、电子设备、及存储介质 | |
| US10937156B2 (en) | Saliency mapping of imagery during artificially intelligent image classification | |
| EP2943935B1 (fr) | Estimation de mouvement d'une image | |
| ALfarasani et al. | Learning to predict 3D Mesh saliency | |
| CN115375552A (zh) | 图像处理方法和图像处理装置 | |
| JP2023063807A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| CN116452962A (zh) | 水下目标检测方法、装置及训练方法、装置及电子设备 | |
| CN114399801A (zh) | 目标检测方法及装置 | |
| FR3013492A1 (fr) | Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d | |
| CN115482594A (zh) | 一种活体检测模型的生成方法、装置及设备 | |
| KR100988431B1 (ko) | 영상 특징 추출 방법, 이를 기록한 기록매체 및 이를 수행하는 장치 | |
| EP4002264A1 (fr) | Solution d'aide à la visualisation pour simuler un processus d'auto-exposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200807 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| CD | Change of name or company name |
Owner name: CAPTION HEALTH, INC., US Effective date: 20230303 |
|
| RM | Correction of a material error |
Effective date: 20230303 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |