FR3114418A1

FR3114418A1 - Masquage dynamique de zones privatives dans une caméra PTZ.

Info

Publication number: FR3114418A1
Application number: FR2009500A
Authority: FR
Inventors: Eugène Robert MONTALANT Thierry; Mahmoud SOUA; Akram BEN HALIMA
Original assignee: Data Smart Process
Current assignee: Data Smart Process
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2022-03-25

Abstract

L’invention concerne un procédé de masquage statique de zones d’intérêts dans des images d’une zone de surveillance, ce procédé comprenant les étapes suivantes : - lors d’une phase de détection statique : - balayage de la zone de surveillance et acquisition d’une pluralité d’images au moyen d’une caméra de surveillance de type PTZ, - envoi de la pluralité d’images vers une unité de traitement, - détection automatique, au sein de l’unité de traitement, de zones d’intérêt visibles dans chaque image de la pluralité d’images, - lors d’une phase de regroupement statique, détermination automatique d’un ou plusieurs masques, chaque masque regroupant au moins une zone d’intérêt parmi l’ensemble des zones d’intérêts détectées sur la pluralité d’images, - envoi du ou des masques vers la caméra de surveillance, - lors d’une phase d’exploitation, lorsqu’au moins une zone d’intérêt est visible sur une image destinée à être transmise vers un écran de visualisation, application au sein de la caméra d’au moins un masque recouvrant cette zone d’intérêt de sorte que cette zone d’intérêt est floutée dans l’image transmise vers l’écran de visualisation. . Figure pour l’abrégé : Fig. 1

Description

Masquage dynamique de zones privatives dans une caméra PTZ.

La présente invention se rapporte à un procédé de masquage statique ou à la volée de zones d’intérêts dans des images d’une zone de surveillance.

Elle trouve une application particulièrement intéressante dans le cadre de la vidéo surveillance dans des lieux publics. La vidéo-surveillance est un outil incontournable pour détecter toute situation ou comportement anormal, mais elle soulève souvent la question de la violation de la vie privée. Le besoin s’est fait sentir de trouver un compromis entre la surveillance pour assurer la sécurité des hommes et des biens et le respect de la vie privée.

D’une façon générale, en Europe par exemple, la capture d’image dans des lieux publics est soumise à la règlementation européenne générale de protection des données (GDPR). Elle a pour objectif de protéger les données personnelles des citoyens européens.

Pour ce faire, il est connu d’appliquer des masques sur des images d’une caméra PTZ de façon à flouter des parties d’image qui seraient d’ordre privé. L’utilisation des caméras PTZ (Pan-Tilt-Zoom) dotées de la fonctionnalité de masquage nécessite un travail fastidieux de la part des opérateurs (vidéo-patrouilleurs) pour rentrer à la main les masques sur les zones qu’ils jugent privatives. Ainsi, lorsque la caméra zoom sur une de ces parties, la caméra envoie un flux flouté. Ce système présente, cependant, plusieurs inconvénients :

- le nombre de masques est limité (en général à 32 masques) ; cette limitation imposant soit le regroupement de plusieurs zones privatives, soit le non masquage de certaines zones ;

- les caméras de type PTZ sont en général très sollicitées, ce qui cause l’épuisement de leurs composants mécaniques ; ainsi, la correspondance entre la position de la caméra et le masque fixé par l’opérateur devient erronée au cours du temps ; ce phénomène étant connu sous le nom de « glissement de masque » et nécessitant la répétition de la phase fastidieuse de déploiement du masque ;

- l’intervention de l’opérateur pour manipuler les masques ou corriger les glissements le détourne de sa fonction principale qui est celle de levée de doute sur les alarmes remontées par un système de vidéo-surveillance intelligent.

La présente invention a pour objet un nouveau procédé de masquage dynamique permettant à l’opérateur de se concentrer à sa fonction principale.

Un autre objet de l’invention est de proposer un nouveau procédé de masquage dynamique avec des masques déterminés de manière précise.

Un autre objet de l’invention est de limiter le temps de constitution des masques.

L’invention a encore pour objet une mise au nord efficace pour lutter contre le glissement des masques.

On atteint au moins l’un des objectifs précités avec un procédé de masquage statique de zones d’intérêts dans des images d’une zone de surveillance, ce procédé comprenant les étapes suivantes :

- lors d’une phase de détection statique :

- balayage de la zone de surveillance et acquisition d’une pluralité d’images au moyen d’une caméra de surveillance de type PTZ,

- envoi de la pluralité d’images vers une unité de traitement,

- détection automatique, au sein de l’unité de traitement, de zones d’intérêt visibles dans chaque image de la pluralité d’images,

- lors d’une phase de regroupement statique, détermination automatique d’un ou plusieurs masques, chaque masque regroupant au moins une zone d’intérêt parmi l’ensemble des zones d’intérêts détectées sur la pluralité d’images,

- envoi du ou des masques vers la caméra de surveillance,

- lors d’une phase d’exploitation, lorsqu’au moins une zone d’intérêt est visible sur une image destinée à être transmise vers un écran de visualisation, application au sein de la caméra d’au moins un masque recouvrant cette zone d’intérêt de sorte que cette zone d’intérêt est floutée dans l’image transmise vers l’écran de visualisation.

Avec le procédé selon l’invention, on réalise un traitement préalable de détection automatique de zones d’intérêts et sauvegarde de ces zones d’intérêts dans une base de données.

Chaque zone d’intérêt peut par exemple correspondre à une fenêtre. La détection consiste à définir un cadre autour de cette fenêtre, chaque cadre étant ensuite sauvegardé dans une base de données interne ou externe à l’unité de traitement. Chaque cadre peut être identifié par ses dimensions et ses coordonnées dans chaque image où la fenêtre correspondante est visible.

Les masques sont préalablement déterminés puis transmis à la caméra pour application en temps réel lors de la surveillance. Par masque, on entend une zone rectangulaire [Xm, Ym, Wm, Hm] de l’image, définie sur un P(pan), T(tilt), Z(zoom) particulier. D’une façon générale, un masque est un cadre définissant une partie d’une image.

La présente invention permet de masquer de manière automatique les zones privatives dans les images provenant de la caméra de surveillance. La notion de zone privative est à définir par l’utilisateur, l’algorithme de détection automatique étant ensuite paramétré pour détecter le type de zone défini par l’utilisateur.

En fonction du type de caméra utilisée et des souhaits de l’utilisateur, pendant la phase de regroupement, le nombre de masques à définir peut être prédéterminé, par exemple inférieur ou égal au nombre de masques maximum autorisé par la caméra. De façon générale, il est envisageable d’utiliser une unité de traitement pour plusieurs caméras, la communication entre l’unité de traitement et les caméras pouvant se faire par différents types de protocoles et moyens de communications avec ou sans fil, via Internet ou au sein d’un réseau privé, de manière cryptée ou pas.

La présente invention propose une nouvelle solution de masquage qui peut comporter trois phases : une phase de détection automatique hors ligne pour la construction d’une base de données des détections, une phase de formation des masques à partir des détections des zones d’intérêts et une phase d’exploitation qui consiste à envoyer les masques à la caméra PTZ pour les appliquer en temps réel sur des images destinées à être visualisées sur un écran de visualisation.

L'objet de la présente demande de brevet se rapporte à des solutions alternatives à un problème particulier de masquage automatique des images d’une caméra PTZ. En outre de la solution de masquage statique définie ci-dessus, il est également proposé un procédé de masquage à la volée de zones d’intérêts dans des images d’une zone de surveillance, ce procédé comprenant les étapes suivantes réalisées lors d’une phase d’exploitation :

- acquisition d’une image de la zone de surveillance au moyen d’une caméra de surveillance de type PTZ, cette image acquise étant destinée à être transmise vers un écran de visualisation,

- envoi de l’image acquise vers une unité de traitement,

- au sein de l’unité de traitement :

- projection sur l’image acquise de zones d’intérêts préalablement détectées pour le même positionnement de la caméra, c’est-à-dire les coordonnées P(pan), T(tilt) et Z(zoom) identiques, ou

- détection automatique au sein de l’unité de traitement de zones d’intérêt dans ladite au moins une image,

- lors d’une phase de regroupement à la volée, détermination automatique d’un ou plusieurs masques, chacun regroupant au moins une zone d’intérêt de l’image acquise,

- envoi du ou des masques vers la caméra de surveillance,

- application au sein de la caméra du ou des masques déterminés de sorte que toute partie masquée est floutée dans l’image transmise vers l’écran de visualisation.

Ce mode de réalisation « à la volée » permet de créer et appliquer les masques « à la volée », c’est-à-dire en temps réel lors de la surveillance. Idéalement, l’unité de traitement intervient sur une image acquise par la caméra avant transmission vers l’écran de visualisation. L’unité de traitement effectue ainsi en temps réel la détection des zones d’intérêt, la détermination des masques, la transmission des masques vers la caméra pour application sur l’image en cours en temps réel. La détection des zones d’intérêts peut correspondre exactement à la détermination des masques, c’est-à-dire que chaque zone d’intérêt détectée est identifiée comme un masque.

L’avantage d’un mode à la volée est notamment le fait de déterminer quasiment à chaque image un nouveau jeu de masques. C’est-à-dire que dans le cadre d’utilisation d’une caméra PTZ offrant un nombre maximum de masques, ce mode de réalisation à la volée permet d’utiliser ce nombre maximum de masques à chaque fois. Dans le procédé de masquage statique, les masques sont déterminés préalablement pour toutes les images possibles et leur nombre est limité à ce nombre maximum.

Selon un mode de mise en œuvre de l’invention, le procédé de masquage à la volée peut comprendre une étape préalable au cours de laquelle lesdites zones d’intérêts préalablement détectées sont obtenues lors d’une phase de détection statique comprenant les étapes suivantes :

- balayage de la zone de surveillance et acquisition d’une pluralité d’images au moyen de la caméra de surveillance,

- envoi de la pluralité d’images vers l’unité de traitement,

- détection automatique, au sein de l’unité de traitement, des zones d’intérêt visibles dans chaque image de la pluralité d’images.

En d’autres termes, pour la détection, on prévoit de façon alternative ou complémentaire la possibilité d’utiliser une détection préalable des zones d’intérêt. Dans ce cas, on reprend les coordonnées des zones d’intérêt préalablement détectées lors de la phase de détection statique par exemple, puis on les définit comme masques à transmettre à la caméra.

Il est possible de combiner le procédé de masquage statique avec le procédé de masquage à la volée. En effet, il est possible de mettre en œuvre le procédé de masquage statique pour un nombre de masque limité L et de réserver quelques masques Q pour la mise en œuvre du procédé de masquage à la volée, la somme de L et Q étant égale au nombre maximum des masques autorisé par la caméra PTZ utilisée.

En d’autres termes, la présente invention propose plusieurs modes de fonctionnement :

- un masquage dynamique à la volée où les masques sont définis en temps-réel et envoyés à la caméra pour flouter les zones privatives,

- un masquage dynamique à nombre fixe de masques afin de limiter la sollicitation de la caméra,

- un mode hybride où une partie des masques est fixe et une autre partie est déterminée à la volée lors du mouvement de la caméra.

Selon une caractéristique avantageuse de l’invention, l’étape de détection automatique peut être basée sur un réseau de neurones convolutif profond.

On fait ainsi intervenir l’intelligence artificielle pour apprendre à reconnaître le type de zones d’intérêt à masquer. On emploie alors des techniques d’analyse d’images et d’apprentissage profond (« deep learning » en anglais) pour identifier des zones d’intérêt ou zones privatives comme des fenêtres de bâtiment, porte fenêtres, terrasses… D’autres techniques comme les machines à vecteurs de support peuvent être utilisées comme techniques d’apprentissage.

Les flux vidéo qui sont transmises par la caméra vers l’écran de visualisation sont ensuite automatiquement floutés au niveau de ces zones privatives.

On peut également utiliser les techniques d’apprentissage automatique (« machine learning » en anglais), telles que par exemple la méthode de partitionnement (« clustering » en anglais) pour l’étape de regroupement au cours de laquelle on regroupe plusieurs zones d’intérêt en un seul masque.

La présente invention permet ainsi d’automatiser et de pleinement exploiter la fonctionnalité de masquage des caméras PTZ en se basant sur des outils d’intelligence artificielle pour l’analyse des images et de regroupement de formes pour définir des masques.

Selon un mode de réalisation de l’invention, lors de la phase de détection statique, pour une première et une deuxième images différentes ayant en commun une zone d’intérêt, si cette zone d’intérêt est détectée dans la première image et pas dans la deuxième image, l’unité de traitement peut être configurée pour appliquer une transformation géométrique permettant également de repérer cette zone d’intérêt dans la deuxième image.

On applique en fait une fonction de transfert entre deux images de façon à détecter de façon exhaustive toutes les zones d’intérêt visible sur une image.

Selon une caractéristique avantageuse de l’invention, lors de la phase de regroupement statique, l’étape de détermination automatique d’un ou plusieurs masques peut comprendre les étapes suivantes :

- formation d’une vue panoramique à partir d’un ensemble d’images acquises,

- projection sur cette vue panoramique de toutes les zones d’intérêt détectées sur la pluralité d’images, et

- regroupement des zones d’intérêt en plusieurs groupes et détermination d’un masque par groupe.

L’invention est notamment remarquable par le fait qu’on élabore une vue panoramique sur laquelle on projette toutes les zones d’intérêts détectées. De cette façon, les masques empiétant sur plusieurs images peuvent être aisément déterminés.

De préférence, la vue panoramique comprend des images acquises pour toutes coordonnées P(pan) et T(tilt) de la caméra PTZ, mais avec un zoom fixe prédéfini. Ce zoom fixe prédéfini peut avantageusement être le zoom le plus faible, idéalement un zoom égal à 1. En d’autres termes, on choisit un zoom rendant visible un maximum de zones d’intérêt.

Selon un mode de réalisation avantageux de l’invention, la projection des zones d’intérêts sur la vue panoramique peut être réalisée en appliquant une transformation géométrique entre la pluralité d’images acquises lors du balayage et les images de la vue panoramique.

Selon l’invention, la phase de regroupement peut comprendre en outre une étape de post-traitement au cours de laquelle des zones utiles sont détectées dans la pluralité d’images acquises et le ou les masques déterminés sont modifiés de façon à ne pas recouvrir ces zones utiles.

Les zones utiles peuvent par exemple être les routes présentes dans une zone de surveillance à l’extérieur. Pour ce faire, des techniques d’apprentissage profond peuvent également être utilisées pour détecter ces zones utiles. On peut également détecter des éléments annexes comme des véhicules, des poteaux, des bandes blanches…de façon à déduire la présence d’une route. Ensuite, les masques déterminés lors de la phase de regroupement et recouvrant des zones utiles sont modifiés de façon à laisser paraître ces zones utiles. La modification peut consister à changer les dimensions et/ou la forme d’un masque ou à scinder un masque en plusieurs masques, à condition de respecter le nombre maximum de masques autorisé.

Selon une mode de réalisation de l’invention, l’étape d’acquisition peut consister en l’acquisition de toutes les images de l’ensemble de la zone de surveillance. Il s’agit alors d’un balayage continu ou à pas fixe de toute la zone de surveillance.

Selon un mode de mise en œuvre avantageux de l’invention, la caméra peut être configurée pour n’appliquer un masque à une image que lorsqu’au moins une zone d’intérêt comprise dans ce masque présente une taille prédéterminée. Cette taille prédéterminée peut être définie telle que la hauteur de la zone d’intérêt est supérieure ou égale à 1/3 de la hauteur de l’image. On applique ainsi un masque uniquement sur des zones d’intérêt comme des fenêtres pour lesquelles la visualisation peut entraîner une entrave à la législation locale sur la protection de la vie privée. De préférence, ce critère de taille est un paramètre que l’utilisateur peut modifier.

Il est également envisagé de mettre en place un processus de mise au nord ou recalibrage, qui pour une image donnée, l’unité de traitement est configurée pour :

- réaliser une détection automatique des zones d’intérêt,

- comparer les zones ainsi détectées aux zones d’intérêt préalablement détectées pour la même image,

- s’il y a une différence, mise en place d’un processus de mise au nord au cours duquel la caméra est recalée par rapport à des points fixes prédéterminés.

Ce processus de mise au nord permet de lutter contre la dérive mécanique des caméras PTZ. On se sert de la détection automatique des zones d’intérêt pour re-calibrer la caméra et ainsi permettre que les masques cachent bien complètement les zones privatives.

En effet, les caméras de type PTZ sont en général très sollicitées, ce qui cause l’épuisement de leurs composants mécaniques. Ainsi, la correspondance entre la position de la caméra et le masque fixé par l’opérateur devient erronée au cours du temps. Ce phénomène est connu sous le nom de « glissement de masque » et nécessite dans l’art antérieur la répétition de la phase fastidieuse de déploiement des masques.

L’unité de traitement selon l’invention est de préférence un serveur distant apte à communiquer et mettre en œuvre les procédés selon l’invention avec plusieurs caméras. On peut également envisager une unité de traitement intégrée ou associée à une caméra.

Selon l’invention, la caméra peut être mobile. En cas de balayage, le déplacement de la caméra peut être réalisé au moyen d’un robot ou d’un drone. La caméra peut également être disposée de façon mobile sur un rail. Dans ce cas, une phase de balayage avec la caméra mobile permet d’enregistrer les coordonnées de la zone d’intérêt, la position de la caméra sur son parcours mobile et sa position ou ses coordonnées PTZ. La transformation géométrique entre deux images doit ainsi tenir compte de la position de la caméra sur son parcours mobile ; cette position pouvant être par exemple la position de la caméra sur son rail ou la position du robot ou du drone déplaçant cette caméra.

En particulier, pour une caméra mobile, l’étape de projection de zones d’intérêts sur la vue panoramique est réalisée en appliquant une transformation géométrique entre la pluralité d’images acquises lors du balayage et les images de la vue panoramique, cette transformation géométrique tenant ainsi compte de la position de la caméra. Cela revient à déterminer une fonction de transfert entre deux images de deux référentiels différents. Il faut être capable de projeter une fenêtre détectée en P1, T1, Z1 avec une position caméra en X1, Y1, Z1 en une zone en P2, T2, Z2 avec une position caméra en X2, Y2, Z2. Pour une caméra fixe, X2=X1, Y2=Y1 et Z2=Z1.

Selon un autre aspect de l’invention, il est proposé un système de masquage de zones d’intérêts dans des images d’une zone de surveillance, ce système comprenant :

- une caméra PTZ pour l’acquisition d’images et l’application de masques sur des images acquises,

- une unité de traitement configurée pour réaliser les étapes suivantes :

- détection automatique de zones d’intérêt visibles dans chaque image acquise,

- détermination automatique d’un ou plusieurs masques, chaque masque regroupant au moins une zone d’intérêt détectée,

- envoi du ou des masques vers la caméra de surveillance.

Ce système est particulièrement adapté pour mettre en œuvre les procédés selon l’invention.

Il est également prévu un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par l’unité de traitement, conduisent celle-ci à mettre en œuvre les étapes du procédé selon l’invention.

D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de figures annexées sur lesquelles :

: la est une vue schématique d’un système selon l’invention,

: la est une des vues de la zone de surveillance,

: la est la photo de la sur laquelle sont représentées des cadres identifiant des zones d’intérêt, telles que des fenêtres, détectées selon l’invention,

: la est une autre vue de la caméra dans une autre position que celle de la ,

: la est une vue panoramique de la zone de surveillance pour la projection des zones d’intérêt,

: la est une image affichée sur un écran de visualisation sur laquelle une zone masquée est floutée.

Les modes de réalisation qui seront décrits dans la suite ne sont nullement limitatifs; on pourra notamment mettre en œuvre des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieur. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieur.

En particulier toutes les variantes et tous les modes de réalisation décrits sont prévus pour être combinés entre eux dans toutes les combinaison où rien ne s’y oppose sur le plan technique.

Les différents modes de réalisation de la présente invention comprennent diverses étapes. Ces étapes peuvent être mises en œuvre par des instructions d’une machine exécutable au moyen d’un microprocesseur par exemple.

Alternativement, ces étapes peuvent être réalisées par des circuits intégrés spécifiques comprenant une logique câblée pour exécuter les étapes, ou par toute combinaison de composants programmable et composants personnalisés.

La présente invention peut également être fournie sous forme d’un produit programme d'ordinateur qui peut comprendre un support mémoire informatique non-transitoire contenant des instructions exécutables sur une machine informatique, ces instructions pouvant être utilisées pour programmer un ordinateur (ou tout autre dispositif électronique) pour exécuter le procédé.

Bien que l’invention n’y soit pas limitée, on va décrire les procédés selon l’invention pour le masquage de zones d’intérêt qui sont des fenêtres de bâtiments visibles dans une zone de surveillance extérieure.

La est une vue globale schématisée d’un système pour la mise en œuvre des procédés selon l’invention. On distingue une unité de traitement 7 connectée via un réseau privé ou de type internet 8 à plusieurs caméras PTZ 9, 10 disposées dans des zones de surveillance. Pour la suite, seule la caméra 10 sera décrite, la caméra 9 pouvant être paramétrée de la même manière ou de manière différente.

On distingue également un ordinateur 11 connecté au réseau internet 8 et relié à un écran de visualisation 12 pour afficher des images provenant d’une ou plusieurs caméras 9, 10. Idéalement, un opérateur (non représenté) est installé devant l’écran de visualisation 12 et surveille une ou plusieurs zones balayée par les caméras.

L’unité de traitement 7 peut être sous la forme d’un serveur centrale distant intégrant des moyens logiciels et matériels nécessaires pour la mise en œuvre des procédés selon l’invention. Elle intègre une application logicielle de communication avec les caméras avec une interface graphique pour la configuration de ces caméras.

La caméra 10 est une caméra PTZ pour « pan », « tilt », « zoom », c’est-à-dire une caméra apte à réaliser des vues panoramiques, à s’incliner et à zoomer. Ses mouvements peuvent être contrôlés à distance. D’autres types de caméras intégrant une intelligence de masquage peuvent être utilisés. La base de la caméra 10 peut être fixe ou mobile sur un rail lui permettant de balayer une zone bien déterminée.

La caméra 10 est avantageusement dotée de moyens matériels et logiciels lui permettant notamment la gestion de masques in situ. C’est-à-dire que lorsqu’un masque doit être appliqué sur une image, la caméra est configurée pour transmettre le flux de l’image, mais la partie correspondant à ce masque apparaissant floutée sur l’image affichée sur un écran de visualisation.

L’ordinateur 11 est configuré pour recevoir les images, parfois floutées, de la caméra 10.

Mode statique.

Pour le fonctionnement du système selon l’invention, il est prévu un mode statique comprenant globalement une phase de paramétrage et une phase d’exploitation. Durant la phase de paramétrage les masques sont déterminés et stockés dans une base de données puis envoyés vers la caméra 10. Durant la phase d’exploitation, c’est-à-dire d’utilisation, les masques sont appliqués sur des images transmises vers l’écran de visualisation 12.

Sur la , les étapes 1-4 correspondent à la phase de paramétrage. Les étapes 5 et 6 correspondent à la phase d’exploitation.

La phase de paramétrage comprend en fait une phase de détection (hors exploitation) pour la construction la base de données des détections, une phase de formation des masques à partir des détections des fenêtres.

Phase de détection.

La phase de détection consiste à programmer la caméra PTZ pour faire un parcours exhaustif en P, T et Z pour couvrir toute la zone à surveiller. Ainsi sur la , à l’étape 1, une pluralité d’images est envoyée à l’unité de traitement 7 par la caméra 10. Il s’agit par exemple d’un échantillonnage avec 3 axes : {Pn =n ΔP}, {Tm = m ΔT}, {Zl = l ΔZ}, avec n=1..N, m=1..M, l=1..L. La caméra 10 parcourt donc NxMxL positions différentes. Pour chaque position (Pn , Tm , Zl. ), la caméra se stabilise pendant quelques secondes et l’unité de traitement détecte automatiquement toutes les fenêtres dans l’image. Chaque fenêtre détectée est modélisée mathématiquement par le quadruplet (x,y,w,h) où (x,y) est la position du coin en haut à gauche de la fenêtre et (w,h) sont la largeur et la hauteur de la fenêtre.

Une base de données est ainsi construite en temps-réel au sein de l’unité de traitement pendant le balayage de la caméra : chaque ligne de la base de données contient les sept éléments suivants : [xi, yi, wi, hi, P, T, Z] ce qui veut dire qu’à la position P, T, Z de la caméra, on a détecté une fenêtre à la position (xi, yi, wi, hi).

Une même fenêtre peut être détectée dans deux vues différentes ou n’est détectée que dans une vue et pas dans l’autre même si elle y est visible. Ceci dépend de l’efficacité du détecteur qui peut détecter facilement une fenêtre avec une exposition frontale et rater une fenêtre oblique. Cependant, si une fenêtre est détectée dans une vue (P1, T1, Z1) avec des coordonnées (x1,y1,w1,h1), on peut déduire géométriquement ses coordonnées (x2,y2,w2,h2) dans une autre vue (P2,T2,Z2) avec une transformation géométrique Γ définie à partir de P2-P1, T2-T1 et Z2/Z1 :

(x2,y2,w2,h2) = Γ (x1,y1,w1,h1)

Cette phase de détection (balayage avec détection) qui peut durer des heures peut être programmée automatiquement plusieurs fois dans l’année afin de mettre à jour la base de données des détections. En effet, pendant une période de l’année, les arbres cachent des fenêtres. Relancer cette phase de détection pendant l’automne par exemple permet d’en tenir compte. La base de données de détections peut également évoluer du fait de changement dans le paysage : construction, démolition, changement de façade,…

Sur la , on voit un exemple d’une vue d’une partie de la zone de surveillance. Il s’agit d’une image d’un bâtiment comportant de nombreuses fenêtres.

Sur la , on distingue une image de la zone de surveillance acquise par exemple à la position P=0, T=0, Z=1. Les nombreuses fenêtres 13 ont été détectées puis sont identifiées par au moins un cadre autour de chacune d’elles.

Sur la , on distingue une autre image acquise par la caméra mais dans une position P=24, T=4, et Z=8. Trois fenêtres sont détectées puis représentées par trois cadres 14-16.

Phase de regroupement.

La phase de regroupement consiste à regrouper les fenêtres de façon à définir un masque par groupe de fenêtres.

Dans le cadre du mode statique, la phase de regroupement statique tient compte de la contrainte d’un nombre maximal de masques (par exemple 32) à transmettre en une seule fois à la caméra.

La première étape de cette phase de regroupement statique consiste à former une vue panoramique résumant toutes les vues parcourues par la caméra PTZ pendant la première phase de détection. Sur la une telle vue est représentée. La vue panoramique contient les vues sur toute l’étendue des pans et des tilts mais pour un seul zoom (par exemple Z=1 correspondant à un dézoom maximum).

Sur cette vue panoramique, on vient projeter toutes les détections enregistrées dans la base de données. Cette projection repose sur le même principe que la transformation Γ. Par exemple, si on a choisi de former une vue panoramique sur Z=1 (dézoom maximum) avec des tilts 0, on doit parcourir la base de données et projeter chaque (xi,yi,wi,hi) (qui a été détecté sur Pi, Ti, Zi) sur la vue panoramique :

x_pano, y_pano, w_pano, h_pano= Γ( xi,yi,wi,hi)

x_pano, y_pano, w_pano, h_panoétant les coordonnées dans la vue panoramique.

La deuxième étape consiste à regrouper les N fenêtres de la vue panoramique en K groupes, avec K fixé par l’utilisateur. En général, une caméra PTZ a un maximum de 32 masques, l’utilisateur peut choisir d’utiliser 30 masques et garder 2 masques pour des zones particulières qu’il juge important de masquer. A partir de chaque groupe de fenêtres, on forme le masque qui est un rectangle contenant toutes les fenêtres du groupe. Chaque masque est donc un rectangle (x_m, y_m, w_m, h_m). Sur la sur la vue panoramique, on distingue clairement les masques qui sont des cadres regroupant plusieurs fenêtres détectées. On distingue notamment le masque 17 regroupant plusieurs fenêtres de l’image de la .

Les masques ainsi formés sont ensuite transmis vers la caméra 10 au cours des étapes 3 et 4 sur la .

Une étape de post-traitement peut être prévue pour corriger des masques afin d’éviter de masquer des zones d’intérêt. En effet, il arrive que le regroupement de fenêtres cache une partie du rez-de-chaussée ou une partie de la route. Un traitement intelligent permet de modifier les masques afin d’éviter ces situations. Des éléments annexes comme des véhicules peuvent être détectés comme on le voit sur la et un algorithme peut être appliqué pour identifier une route et revoir ainsi le regroupement des fenêtres en masques.

Phase d’exploitation.

Si cela n’a pas été réalisé à la fin de la phase de regroupement, le début de la phase d’exploitation peut comprendre la transmission des masques formés en statique à la caméra via un protocole de communication avec celle-ci. Lors de cette communication, le niveau de zoom à partir duquel le masque s’active est calculé automatiquement à partir de la proportion choisie par l’utilisateur. Par exemple, l’utilisateur peut souhaiter que la zone privée soit masquée uniquement si elle dépasse le 1/3 de l’image. Le zoom du masque à renseigner est alors calculé en conséquence.

Ainsi en exploitation, lorsque l’utilisateur commande à distance la caméra 10, des zones floutées peuvent apparaitre en fonction de la position de la caméra et du niveau de zoom utilisé. Les masques ont été prédéterminés de façon automatique une fois pour toute et stockés dans la caméra.

Selon l’invention, on peut prévoir un deuxième mode de masquage non pas statique mais à la volée et sans contrainte de nombre total maximal de masques.

Dans ce mode à la volée, l’objectif est de former les masques à la volée, en temps réel pendant la phase d’exploitation. Sur la , cela revient à réaliser les étapes 1-6 en temps réel à la foulée.

Ainsi, lorsque la caméra est dans une position (P, T, Z), on transmet l’image vers l’unité de traitement. Dans le cadre du mode à la volée, les fenêtres peuvent être préalablement détectées comme ci-dessous et sauvegardées dans la base de données, mais elles peuvent également être déterminées en temps réel.

Si elles ont été prédéterminées, on projette toutes les fenêtres de la base de données sur cette vue avec la même fonction Γ définie ci-dessus.

Si elles n’ont pas été prédéterminées, elles sont détectées en temps réel pour l’image en cours. Dans ce cas, la base de données de détections n’est plus indispensable. Cependant, cette approche peut présenter des contraintes, car dans une position (P,T,Z) toutes les fenêtres ne sont pas forcément détectées, alors qu’elles peuvent l’être dans une autre position (P’,T’,Z’) avec un pan ou un tilt ou un zoom différent.

De préférence, chaque fenêtre projetée ou détectée est considérée comme un masque à appliquer.

Par ailleurs, comme le masque peut n’être activé que si la fenêtre dépasse une certaine proportion de l’image (par exemple 1/3), situation atteignable à partir d’un certain zoom, le nombre de masques peut être bien inférieur à 32 (capacité maximale de la caméra). Donc, chaque fenêtre peut être considérée comme un masque qui sera transmis en temps-réel vers la caméra pour être immédiatement appliqué.

Lorsque la caméra change de position PTZ, les masques sont effacés et de nouveaux sont formés avec le même principe. L’avantage de cette approche par rapport à l’approche statique est le fait qu’on évite le regroupement des fenêtres mais l’inconvénient est la sollicitation fréquente de la caméra (envoi/effacement fréquent de masques).

Selon l’invention, on peut envisager de combiner les modes statique et à la volée comme suit :

On réserve un nombre K1 pour un fonctionnement en mode statique (regroupement des fenêtres détectées en K1 groupes).
On réserve un nombre K2 pour un fonctionnement en mode à la volée.
On réserve un nombre K3 de masques à utiliser manuellement pour masquer des zones qui ne sont pas forcément des fenêtres.

Avec la contrainte de K=K1+K2+K3= nombre maximum de masques autorisés par la caméra PTZ.

L’intérêt de l’approche hybride est surtout la correction de l’approche statique. En effet, lors du post-traitement des masques afin de laisser apparaitre des zones utiles, des fenêtres peuvent être écartées et donc pas masquées. Le mode à la volée permettra de masquer ces fenêtres.

Sur la on voit une image affichée sur l’écran de visualisation avec une partie floutée correspondant au masque 17.

Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention.

Claims

Procédé de masquage statique de zones d’intérêts dans des images d’une zone de surveillance, ce procédé comprenant les étapes suivantes :
- lors d’une phase de détection statique :
- balayage de la zone de surveillance et acquisition d’une pluralité d’images au moyen d’une caméra de surveillance de type PTZ,
- envoi de la pluralité d’images vers une unité de traitement,
- détection automatique, au sein de l’unité de traitement, de zones d’intérêt visibles dans chaque image de la pluralité d’images,
- lors d’une phase de regroupement statique, détermination automatique d’un ou plusieurs masques, chaque masque regroupant au moins une zone d’intérêt parmi l’ensemble des zones d’intérêts détectées sur la pluralité d’images,
- envoi du ou des masques vers la caméra de surveillance,
- lors d’une phase d’exploitation, lorsqu’au moins une zone d’intérêt est visible sur une image destinée à être transmise vers un écran de visualisation, application au sein de la caméra d’au moins un masque recouvrant cette zone d’intérêt de sorte que cette zone d’intérêt est floutée dans l’image transmise vers l’écran de visualisation.
Procédé de masquage à la volée de zones d’intérêts dans des images d’une zone de surveillance, ce procédé comprenant les étapes suivantes réalisées lors d’une phase d’exploitation :
- acquisition d’une image de la zone de surveillance au moyen d’une caméra de surveillance de type PTZ, cette image acquise étant destinée à être transmise vers un écran de visualisation,
- envoi de l’image acquise vers une unité de traitement,
- au sein de l’unité de traitement :
- projection sur l’image acquise de zones d’intérêts préalablement détectées pour le même positionnement de la caméra, ou
- détection automatique au sein de l’unité de traitement de zones d’intérêt dans ladite au moins une image,
- lors d’une phase de regroupement à la volée, détermination automatique d’un ou plusieurs masques, chacun regroupant au moins une zone d’intérêt de l’image acquise,
- envoi du ou des masques vers la caméra de surveillance,
- application au sein de la caméra du ou des masques déterminés de sorte que toute partie masquée est floutée dans l’image transmise vers l’écran de visualisation.
Procédé selon la revendication 2, caractérisé e ce qu’il comprend une étape préalable au cours de laquelle lesdites zones d’intérêts préalablement détectées sont obtenues lors d’une phase de détection statique comprend les étapes suivantes :
- balayage de la zone de surveillance et acquisition d’une pluralité d’images au moyen de la caméra de surveillance,
- envoi de la pluralité d’images vers l’unité de traitement,
- détection automatique, au sein de l’unité de traitement, des zones d’intérêt visibles dans chaque image de la pluralité d’images.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape de détection automatique est basée sur un réseau de neurones convolutif profond.
Procédé selon la revendication 1 ou 3, caractérisé en ce que lors de la phase de détection statique, pour une première et une deuxième images différentes ayant en commun une zone d’intérêt, si cette zone d’intérêt est détectée dans la première image et pas dans la deuxième image, l’unité de traitement est configurée pour appliquer une transformation géométrique permettant également de repérer cette zone d’intérêt dans la deuxième image.
Procédé selon la revendication 1, caractérisé en ce que lors de la phase de regroupement statique, l’étape de détermination automatique d’un ou plusieurs masques comprend les étapes suivantes :
- formation d’une vue panoramique à partir d’un ensemble d’images acquises,
- projection sur cette vue panoramique de toutes les zones d’intérêt détectées sur la pluralité d’images, et
- regroupement des zones d’intérêt en plusieurs groupes et détermination d’un masque par groupe.
Procédé selon la revendication 6, caractérisé en ce que la vue panoramique comprend des images acquises pour toutes coordonnées P et T de la caméra PTZ, mais avec un zoom fixe prédéfini.
Procédé selon la revendication 7, caractérisé en ce que le zoom fixe prédéfini est le zoom le plus faible, idéalement un zoom égal à 1.
Procédé selon l’une quelconque des revendications 6 à 8, caractérisé en ce que la projection des zones d’intérêts sur la vue panoramique est réalisée en appliquant une transformation géométrique entre la pluralité d’images acquises lors du balayage et les images de la vue panoramique.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que la phase de regroupement comprend en outre une étape de post-traitement au cours de laquelle des zones utiles sont détectées dans la pluralité d’images acquises et le ou les masques déterminés sont modifiés de façon à ne pas recouvrir ces zones utiles.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape d’acquisition consiste en l’acquisition de toutes les images de l’ensemble de la zone de surveillance
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce qu’un masque est un cadre définissant une partie d’une image.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que la caméra est configurée pour n’appliquer un masque à une image que lorsqu’au moins une zone d’intérêt comprise dans ce masque présente une taille prédéterminée.
Procédé selon la revendication 13, caractérisé en ce que la taille prédéterminée est définie telle que la hauteur de la zone d’intérêt est supérieure ou égale à 1/3 de la hauteur de l’image.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que les zones d’intérêts comprennent des éléments parmi des fenêtres de bâtiment, des portes fenêtres, des terrasses.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que pour une image donnée, l’unité de traitement est configurée pour
- réaliser une détection automatique des zones d’intérêt,
- comparer les zones ainsi détectées aux zones d’intérêt préalablement détectées pour la même image,
- s’il y a une différence, mise en place d’un processus de mise au nord au cours duquel la caméra est recalée par rapport à des points fixes prédéterminés.
Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que la caméra est mobile.
Procédé selon la revendication 17, caractérisé en ce qu’en cas de balayage, le déplacement de la caméra est réalisé au moyen d’un robot ou d’un drone.
Procédé selon la revendication 6 et l’une quelconque des revendications 7 à 18, caractérisé en ce que pour une caméra mobile, l’étape de projection de zones d’intérêts sur la vue panoramique est réalisée en appliquant une transformation géométrique entre la pluralité d’images acquises lors du balayage et les images de la vue panoramique, cette transformation géométrique tenant compte de la position de la caméra.
Système de masquage de zones d’intérêts dans des images d’une zone de surveillance, ce système comprenant :
- une caméra PTZ pour l’acquisition d’images et l’application de masques sur des images acquises,
- une unité de traitement configurée pour réaliser les étapes suivantes :
- détection automatique de zones d’intérêt visibles dans chaque image acquise,
- détermination automatique d’un ou plusieurs masques, chaque masque regroupant au moins une zone d’intérêt détectée,
- envoi du ou des masques vers la caméra de surveillance.