BE1024436B1

BE1024436B1 - Amélioration d’images

Info

Publication number: BE1024436B1
Application number: BE2017/5411A
Authority: BE
Inventors: Jonathan Nazemi
Original assignee: Sensors Unlimited Inc.
Priority date: 2016-06-10
Filing date: 2017-06-09
Publication date: 2018-02-27
Also published as: US20170358066A1; TW201743285A; US20180276804A1; BE1024436A1; TWI720205B; US10346961B2; US10007974B2

Abstract

L’invention concerne un procédé d’amélioration d’une image comprenant la construction d’un histogramme d’entrée correspondant à une image d’entrée reçue au niveau d’un réseau plan focal, l’histogramme d’entrée représentant une distribution d’intensités de pixels correspondant à l’image d’entrée et l’exécution d’une opération analytique sur l’histogramme d’entrée pour produire une distribution cumulée modifiée, dans laquelle l’opération analytique dépend d’une température de caméra. L’image d’entrée est transformée en utilisant la distribution cumulée modifiée pour produire une image de sortie améliorée correspondant à l’image entrée, dans laquelle au moins une partie de l’image d’entrée est améliorée dans l’image de sortie. En plus ou à la place de l’opération non linéaire, les bords de regroupement par classe de l’histogramme d’entrée peuvent être ajustés sur la base d’au moins l’un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée ajustée.

Description

(30) Données de priorité :

10/06/2016 US 15178888 (73) Titulaire(s) :

SENSORS UNLIMITED INC. NJ 08540, PRINCETON États-Unis (72) Inventeur(s) :

NAZEMI Jonathan 18901 DOYLESTOWN États-Unis (54) AMÉLIORATION D’IMAGES (57) L’invention concerne un procédé d’amélioration d’une image comprenant la construction d’un histogramme d’entrée correspondant à une image d’entrée reçue au niveau d’un réseau plan focal, l’histogramme d’entrée représentant une distribution d’intensités de pixels correspondant à l’image d’entrée et l’exécution d’une opération analytique sur l’histogramme d’entrée pour produire une distribution cumulée modifiée, dans laquelle l’opération analytique dépend d’une température de caméra. L’image d’entrée est transformée en utilisant la distribution cumulée modifiée pour produire une image de sortie améliorée correspondant à l’image entrée, dans laquelle au moins une partie de l’image d’entrée est améliorée dans l’image de sortie. En plus ou à la place de l’opération non linéaire, les bords de regroupement par classe de l’histogramme d’entrée peuvent être ajustés sur la base d’au moins l’un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée ajustée.

BREVET D'INVENTION BELGE

SPF Economie, PME, Classes Moyennes & Energie

Numéro de publication : 1024436 Numéro de dépôt : BE2017/5411

Office de la Propriété intellectuelle Classification Internationale : G06T 5/00 G06T 5/40 Date de délivrance : 27/02/2018

Le Ministre de l'Economie,

Vu la Convention de Paris du 20 mars 1883 pour la Protection de la propriété industrielle ;

Vu la loi du 28 mars 1984 sur les brevets d'invention, l'article 22, pour les demandes de brevet introduites avant le 22 septembre 2014 ;

Vu le Titre 1er “Brevets d’invention” du Livre XI du Code de droit économique, l'article XI.24, pour les demandes de brevet introduites à partir du 22 septembre 2014 ;

Vu l'arrêté royal du 2 décembre 1986 relatif à la demande, à la délivrance et au maintien en vigueur des brevets d'invention, l'article 28 ;

Vu la demande de brevet d'invention reçue par l'Office de la Propriété intellectuelle en date du 09/06/2017.

Considérant que pour les demandes de brevet tombant dans le champ d'application du Titre 1er, du Livre XI du Code de Droit économique (ci-après CDE), conformément à l'article XI. 19, §4, alinéa 2, du CDE, si la demande de brevet a fait l'objet d'un rapport de recherche mentionnant un défaut d'unité d'invention au sens du §ler de l'article XI.19 précité et dans le cas où le demandeur n'effectue ni une limitation de sa demande ni un dépôt d'une demande divisionnaire conformément aux résultats du rapport de recherche, le brevet délivré sera limité aux revendications pour lesquelles le rapport de recherche a été établi.

Arrête :

Article premier. - Il est délivré à

SENSORS UNLIMITED INC., 330 Carter Road, Suite 100, NJ 08540 PRINCETON États-Unis;

représenté par

OFFICE KIRKPATRICK S.A., Avenue Wolfers 32, 1310, LA HULPE;

un brevet d'invention belge d'une durée de 20 ans, sous réserve du paiement des taxes annuelles visées à l’article XI.48, §1 du Code de droit économique, pour : AMÉLIORATION D’IMAGES .

INVENTEUR(S) :

NAZEMI Jonathan, 520 Portsmouth Ct„ 18901, DOYLESTOWN;

PRIORITE(S) :

10/06/2016 US 15178888;

DIVISION :

divisé de la demande de base : date de dépôt de la demande de base :

Article 2. - Ce brevet est délivré sans examen préalable de la brevetabilité de l'invention, sans garantie du mérite de l'invention ou de l'exactitude de la description de celle-ci et aux risques et périls du (des) demandeur(s).

Bruxelles, le 27/02/2018, Par délégation spéciale :

BE2017/5411

AMELIORATION D'IMAGES

ENONCE CONCERNANT LA RECHERCHE OU LE DEEVELOPPEMENT SUBVENTIONNÉ PAR LE GOUVERNEMENT FÉDÉRAL

La présente invention a été réalisée avec le soutien du gouvernement au titre des contrats numéros W15P7T-10D-D413/0024 (P8650) et N00014-14-C-0061 récompensés par le Bureau de recherche navale et CACI-NVESD. Le gouvernement détient certains droits sur cette invention.

CONTEXTE DE L'INVENTION

1. Domaine de l'invention

La présente invention concerne l'amélioration d'images, et plus particulièrement des améliorations d'images basées sur une manipulation d'histogramme et analogue.

2. Description de la technique apparentée

Il est souvent souhaitable d'améliorer une image acquise par une caméra ou un capteur pour faire apparaître un détail supplémentaire dans l'image. Par exemple, lorsque des images sont prises en présence d'une lumière vive, des détails dans l'ombre et dans des zones brillantes sont souvent perdus. De même, des détails sont souvent perdus dans des zones sombres d'images sombres. En tant que tel, il est souhaitable de faire apparaître de tels détails sans compromettre une qualité d'image globale.

Un certain nombre de procédés d'amélioration d'image ont été développés par le passé. Des exemples de ces procédés comprennent l'étirement de contrastes,

BE2017/5411 l'égalisation d'histogramme, la projection d'histogramme, et l'égalisation de plateau. Dans un étirement de contrastes, des distributions d'intensités de pixels sont étendues (« étirées ») pour couvrir l'ensemble des valeurs possibles. Selon ce procédé, des valeurs d'intensités de pixels maximales et minimales sont mesurées (ou estimées), et des valeurs de correction de décalage et de gain sont appliquées aux valeurs d'intensités de pixels correspondant à chaque pixel dans l'image, de sorte que l'ensemble des valeurs d'intensités soit couvert. Dans une égalisation d'histogramme, la distribution d'intensités de pixels est atténuée ou aplanie. Selon ce procédé, un histogramme d'entrée est construit, qui comporte le nombre total de pixels correspondant à chaque niveau d'intensité à l'intérieur de l'image. Puis, un histogramme cumulé est construit et normalisé, et chaque pixel dans l'image est transformé en utilisant 1'histogramme cumulé normalisé en tant que table de conversion (LUT). Dans une projection d'histogramme, un histogramme est construit, composé de niveaux couverts et non couverts. Un histogramme cumulé est ensuite construit et normalisé, et chaque pixel dans l'image est transformé en utilisant 1'histogramme cumulé normalisé en tant que table de conversion. Dans une égalisation de plateau, un histogramme d'entrée est construit et écrêté à un niveau ou « plateau » spécifié. Ensuite, un histogramme cumulé est construit et normalisé, et chaque pixel dans l'image est transformé en utilisant 1 ' histogramme cumulé normalisé en tant que table de conversion.

Les procédés d'amélioration d'image susmentionnés peuvent présenter un certain nombre d'inconvénients. Par

BE2017/5411 exemple, des procédés d'amélioration d'image classiques peuvent ne pas faire apparaître de manière adéquate un détail dans des régions spécifiques d'une image, telles que des ombres ou des zones brillantes. Au contraire, ces procédés tendent à améliorer uniformément la totalité d'une image, ce qui peut entraîner une distorsion d'autres régions de l'image au profit de l'amélioration d'une région souhaitée de l'image. De plus, des procédés d'amélioration d'image classiques ne peuvent que difficilement être adaptés, sans ajustement manuel, pour améliorer des images dans des environnements différents (par exemple, en altérant dynamiquement des caractéristiques d'amélioration en réponse à des changements de la sensibilité de caméra).

De tels procédés et systèmes conventionnels ont généralement été considérés satisfaisants pour leurs fins prévues. Cependant, il existe toujours un besoin dans la technique pour une amélioration d'image perfectionnée. La présente invention concerne une solution à ce besoin.

RÉSUMÉ DE L'INVENTION

Un procédé d'amélioration d'une image comporte la construction d'un histogramme d'entrée correspondant à une image d'entrée reçue au niveau d'un réseau plan focal, 1'histogramme d'entrée représentant une distribution d'intensités de pixels correspondant à l'image d'entrée. À partir de 1'histogramme d'entrée, une distribution cumulée est calculée. La distribution cumulée est soumise à des modifications visant à ajuster un contraste d'image en redistribuant les valeurs de pixels. Les modifications peuvent comprendre l'application d'opérations analytiques pouvant dépendre d'une température de caméra et/ou d'un

BE2017/5411 taux de sensibilité. L'image d'entrée est transformée en utilisant la distribution cumulée modifiée pour produire une image de sortie améliorée correspondant à l'image d'entrée, au moins une partie de l'image d'entrée étant améliorée dans l'image de sortie.

L'exécution d'une opération analytique peut comprendre le calcul d'une puissance de la distribution cumulée pour produire une table de conversion LUT résultante. L'exécution d'une opération analytique peut comprendre la multiplication de la distribution cumulée résultante par une fonction rampe exprimée comme suit

RAMP_NORM = (X + ENH_RAMP)/(1 + ENH_RAMP) et

RAMP_LUT = MAX_BIN*RAMP_NORM, avec

X = ([0: MAX_BIN] - OFFSET(T))/(CLIP(T) - OFFSET(T)),

dans	lequel
si X	< 0 alors	X =	0,
si X	> 1 alors	X =	1 .

où OFFSET(T) est ici le niveau d'histogramme d'entrée minimal dépendant de la température, CLIP (T) est le niveau d'histogramme d'entrée maximal dépendant de la température, ENH_RAMP est un ajustement de pente, RAMP_NORM est la fonction rampe normalisée, RAMP_LUT est la table de conversion pour le calcul rampe, et MAX_BIN est la valeur maximale pour le regroupement par classe de la LUT cumulée.

L'exécution d'une opération analytique peut comporter la réception de données de température de caméra et l'utilisation de la température de caméra,

BE2017/5411 l'opération analytique dépendant d'une température de caméra. L'image d'entrée peut être reçue à partir du réseau plan focal, le réseau plan focal pouvant varier en température.

Un système peut comporter un dispositif d'imagerie comprenant un réseau plan focal pour capturer une image d'entrée. Le système peut également comporter un module d'amélioration d'image relié de manière fonctionnelle au dispositif d'imagerie pour mettre en œuvre l'un quelconque des procédés décrits ici pour l'amélioration d'images. Le dispositif d'imagerie peut comporter un capteur de température relié de manière fonctionnelle au module pour fournir la température de caméra. Le système peut comporter tout dispositif de sortie approprié pour délivrer en sortie l'image transformée ou améliorée.

Ces caractéristiques et d'autres des systèmes et des procédés de la présente invention apparaîtront plus clairement à l'homme de l'art à la lecture de la description détaillée suivante des modes de réalisation préférés associés aux dessins.

BRÈVE DESCRIPTION DES DESSINS

Afin que l'homme de l'art auquel la présente invention est destinée comprenne aisément comment réaliser et mettre en œuvre sans difficulté les dispositifs et les procédés de la présente invention, des modes de réalisation préférés de celle-ci seront décrits en détail dans le présent document ci-après, en faisant référence à certaines figures, parmi lesquelles :

la figure 1 est une vue schématique d'un mode de réalisation illustratif d'un système construit conformément à la présente invention, représentant un

BE2017/5411 dispositif d'imagerie et un module pour améliorer des images provenant du dispositif d'imagerie ; et la figure 2 est une vue schématique d'un histogramme illustratif conformément à la présente invention, représentant de manière schématique un ajustement en fonction de la température des bords de regroupement par classe et une opération non linéaire pour l'amélioration d'images.

DESCRIPTION DÉTAILLÉE DES MODES DE RÉALISATION PRÉFÉRÉS

Il sera maintenant fait référence aux dessins dans lesquels les numéros de référence définissent des caractéristiques ou des aspects structurels similaires de la présente invention. À titre explicatif et illustratif, mais non limitatif, une vue partielle d'un mode de réalisation d'un système conforme à l'invention est représentée en figure 1 et est généralement désignée par le caractère de référence 100. D'autres modes de réalisation des systèmes, conformément à l'invention, ou des aspects de celle-ci, sont fournis en figure 2, comme cela est décrit plus loin. Les systèmes et les procédés décrits dans le présent document peuvent être utilisés dans l'amélioration d'images dans des systèmes d'imagerie à température non contrôlée ou contrôlée en partie seulement, par exemple, destinés à l'imagerie infrarouge. Il est fait référence au brevet U.S. No. 8 218 868 qui est mentionné dans le présent document à titre de référence dans son intégralité.

Un système 100 comprend un dispositif d'imagerie comportant des éléments optiques 102 couplés optiquement un réseau plan focal (FPA) 104 pour capturer une image d'entrée. Un module d'amélioration d'image 106 est relié

BE2017/5411 de manière fonctionnelle au réseau plan focal 104 du dispositif d'imagerie pour mettre en œuvre l'un quelconque des procédés décrits dans le présent document pour l'amélioration d'images. Un capteur de température 108 est relié de manière fonctionnelle au module 106 pour fournir la température de caméra. Selon cet exemple, un capteur 108 est représenté monté sur un FPA 104 pour détecter la température du FPA 104, cependant l'homme de l'art comprendra aisément que le capteur 108 peut être monté autre part pour déterminer un FPA ou une température indirectement. Un dispositif de sortie 110 est relié de manière fonctionnelle au module 106 pour délivrer en sortie les images transformées ou améliorées, et peut comporter tout type approprié de dispositif de sortie tel qu'un dispositif d'affichage ou de mémorisation.

En faisant maintenant référence à la figure 2, un procédé d'amélioration d'une image comprend la construction d'un histogramme d'entrée 112 correspondant à une image d'entrée reçue au niveau du FPA 104 de la figure 1. L'histogramme d'entrée représente une distribution d'intensités de pixels correspondant à l'image d'entrée. Les bords de regroupement par classe 114 et 116 de 1'histogramme d'entrée sont ajustés sur la base d'au moins l'un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée (a) . L'ajustement des bords de regroupement par classe 114 et 116 est indiqué de manière schématique en figure 2 par des doubles flèches. L'image d'entrée est transformée en utilisant la distribution cumulée (b) pour produire une image de sortie améliorée correspondant à l'image d'entrée, au moins une partie de l'image d'entrée

BE2017/5411 étant améliorée dans l'image de sortie. Cette image améliorée peut se présenter sous la forme d'une sortie provenant d'un dispositif de sortie 110.

L'ajustement des bords de regroupement par classe 114 et 116 peut comprendre la réception de données de température de caméra, par exemple, en provenance du capteur 104, et l'utilisation de la température de caméra pour ajuster les bords de regroupement par classe 114 et 116. Le procédé peut comprendre l'exécution d'une sélection de gain automatique et/ou d'une sélection de sensibilité automatique sur le réseau plan focal 104 en fonction de la température de caméra en utilisant les bords de regroupement par classe ajustés 114 et 116. L'image d'entrée peut être reçue à partir du réseau plan focal 104, le réseau plan focal 104 pouvant varier en température, c'est-à-dire que le réseau plan focal n'est pas contrôlé en température ou n'est seulement qu'en partie contrôlé en température. Ainsi, l'amélioration d'images fonctionne dans des systèmes ne présentant pas de refroidissement thermoélectrique ou analogue.

L'exécution d'une opération analytique peut comprendre le calcul d'une puissance de la distribution cumulée pour produire une LUT résultante. L'exécution d'une opération analytique peut comprendre la multiplication de la distribution cumulée résultante par une fonction rampe exprimée comme suit

RAMP_NORM = (X + ENH_RAMP)/(1 + ENH_RAMP) et

RAMP_LUT = MAX_BIN*RAMP_NORM, avec

X = ([0: MAX_BIN] - OFFSET(T))/(CLIP(T) - OFFSET(T)),

BE2017/5411 dans lequel si X < 0 alors X = 0, si X > 1 alors X = 1.

où OFFSET(T) est ici le niveau d'histogramme d'entrée minimal dépendant de la température, CLIP (T) est le niveau d'histogramme d'entrée maximal dépendant de la température, ENH_RAMP est un ajustement de pente, RAMP_NORM est la fonction rampe normalisée, RAMP_LUT est la table de conversion pour le calcul rampe, MAX_BIN est la valeur maximale pour le regroupement par classe de la LUT cumulée.

L'exécution d'une opération analytique peut comprendre la réception de données de température de caméra, par exemple, un module 106 peut recevoir les données de température en provenance d'un capteur 108, et l'utilisation de la température de caméra, l'opération analytique dépendant d'une température de caméra. Tel que décrit précédemment au sujet de l'ajustement des bords de regroupement par classe 114 et 116, l'image d'entrée peut être reçue à partir du réseau plan focal 104, le réseau plan focal 104 pouvant varier en température.

Le procédé peut comprendre à la fois une opération analytique et l'ajustement de bords de regroupement par classe comme décrit ci-dessus. Par exemple, les bords de regroupement par classe 114 et 116 de 1'histogramme d'entrée 112 peuvent être ajustés sur la base d'au moins l'un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée ajustée (a), l'exécution d'une opération analytique sur 1'histogramme d'entrée comportant l'exécution de

BE2017/5411 l'opération analytique sur 1'histogramme ajusté (a) pour obtenir la distribution cumulée modifiée (b).

Des avantages potentiels des systèmes et des procédés décrits dans le présent document comprennent une imagerie à température non contrôlée ou contrôlée en partie seulement avec des améliorations d'images et permettant un contrôle du gain et de la sensibilité automatiques qui n'était auparavant envisageable que pour des systèmes d'imagerie à température contrôlée.

Les procédés et les systèmes de la présente invention, tels que décrits ci-dessus et représentés dans les dessins, permettent une amélioration d'images avec des propriétés supérieures y compris une amélioration d'images au sein de systèmes d'imagerie à température non contrôlée ou contrôlée en partie seulement. Bien que les appareils et les procédés de la présente invention ont été présentés et décrits en se référant aux modes de réalisation préférés, l'homme de l'art comprendra aisément que des changements et/ou des modifications peuvent y être apporté(e)s sans s'éloigner de la portée de la présente invention.

BE2017/5411

Claims

REVENDICATIONS

1. Procédé d'amélioration d'une image comprenant :

la construction d'un histogramme d'entrée correspondant à une image d'entrée reçue au niveau d'un réseau plan focal, I'histogramme d'entrée représentant une distribution d'intensités de pixels correspondant à l'image d'entrée ; l'ajustement de bords de regroupement par classe de la base d'histogramme d'entrée sur au moins l'un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée modifiée ; et la transformation de l'image d'entrée en utilisant la distribution cumulée modifiée pour produire une image de

sortie améliorée corre spondant à l'image < l'entrée, dans lequel, au moins une partie de .1 ' i mage d'entrée est améliorée d .ans 1' image de sortie. 2. Procédé se loi ί. la revendication 1, dans lequel

l'ajustement des bords de regroupement par classe comporte la réception de données de température de caméra et l'utilisation de la température de caméra pour ajuster les bords de regroupement par classe.
3, Procédé selon la revendication 1, comprenant en outre la réception de l'image d'entrée à partir du réseau plan focal dans lequel le réseau plan focal peut varier en température.
4, Procédé d'amélioration d'une image comprenant :

la construction d'un histogramme d'entrée correspondant à une image d'entrée reçue au niveau d'un réseau plan focal,

BE2017/5411

1/histogramme d/entrée représentant une distribution d'intensités de pixels correspondant à l'image d'entrée ; l'exécution d'une opération analytique sur 1'histogramme d'entrée pour produire un histogramme modifié, dans lequel l'opération analytique dépend d'une température de caméra ;

la transformation de l'image d'entrée en utilisant une distribution cumulée de 1'histogramme modifié pour produire une image de sortie améliorée correspondant à l'image d'entrée, dans lequel au moins une partie de l'image d'entrée est améliorée dans l'image de sortie, l'exécution d'une opération analytique comportant le calcul d'une puissance de 1'histogramme d'entrée pour produire un histogramme résultant et la multiplication de 1'histogramme résultant par une fonction rampe exprimée comme suit

RAMP_NORM = (X + ENH_RAMP)/(1 + ENH_RAMP) et

20 RAMP__LUT - MAX__BIN^RAMP__NORM, avec

X - ( [0: MAX BIN] - OFFSET(T) )/(CLIP (T) - OFFSET (T)) dans lequel si X < 0 alors X = 0,

25 si X > 1 alors X = 1 ;

dans lequel OFFSET (T) est le niveau d'histogramme d'entrée minimal dépendant de la température, CLIP (T) est le niveau d'histogramme d'entrée maximal dépendant de la température, ENH RAMP est un ajustement de pente, RAMP“ NORM est la fonction rampe normalisée, RAMP LUT est la table de conversion pour le calcul rampe, MAX BIN est

BE2017/5411 la valeur maximale pour le regroupement par classe de la

LUT cumulée.
5. Procédé selon la revendication 4, dans lequel 5 l'exécution d'une opération analytique comporte la réception de données de température de caméra et l'utilisation de la température de caméra, dans lequel l'opération non linéaire dépend d'une température de caméra.
6. Procédé selon la revendication 4, comprenant en outre la réception de l'image d'entrée à partir du réseau plan focal dans lequel le réseau plan focal peut varier en température.
7. Procédé selon la revendication 4, comprenant en outre : l'ajustement de bords de regroupement par classe de la base d'histogramme d'entrée sur au moins l'un parmi une température de caméra et un taux de sensibilité pour

20 construire un histogramme ajusté, dans lequel l'exécution d'une opération analytique sur 1'histogramme d'entrée comporte l'exécution de l'opération analytique sur 1'histogramme ajusté pour produire 1'histogramme modifié.

25
8. Procédé selon la revendication 7, dans lequel l'ajustement des bords de regroupement par classe comporte la réception de données de température de caméra et l'utilisation de la température de caméra pour ajuster les bords de regroupement de données par classe.
9. Procédé selon la revendication 4, comprenant en outre la réception de l'image d'entrée à partir du réseau plan

BE2017/5411 focal dans lequel le réseau plan local peut varier en température.

r_;

-j

BE2017/5411

BE2017/5411

BE2017/5411

ABREGE DE 'INVENTION

AME LIORATION D'IMAGE S

L'invention concerne un procédé d'amélioration d'une image comprenant la construction d'un histogramme d'entrée correspondant à une image d'entrée reçue au niveau d'un réseau plan focal, 1'histogramme d'entrée
10 représentant une distribution d'intensités de pixels correspondant à l'image d'entrée et l'exécution d'une opération analytique sur 1'histogramme d'entrée pour produire une distribution cumulée modifiée, dans laquelle l'opération analytique dépend d'une température de caméra
15 L'image d'entrée est transformée en utilisant la distribution cumulée modifiée pour produire une image de sortie améliorée correspondant à l'image entrée, dans laquelle au moins une partie de l'image d'entrée est améliorée dans l'image de sortie. En plus ou à la place
20 de l'opération non linéaire, les bords de regroupement par classe de 1'histogramme d'entrée peuvent être ajustés sur la base d'au moins l'un parmi une température de caméra et un taux de sensibilité pour construire une distribution cumulée aiustée.

Uumero de ia defrsatxte nationale £urt>pSÎSÎÎiCÎ ftcertt Office üftîq« K-urccp&en ôrî> brevets

80 11483 BE 201705411