FR3077407A1 - Systeme et procede de mesure d'audience centree-utilisateur sur un reseau informatique, notamment internet, par detection de logo. - Google Patents

Abstract

Il est proposé un système de mesure d'audience centrée-utilisateur, comprenant au moins un serveur de mesure d'audience (3) configuré pour mesurer une consommation de contenus sur un réseau informatique par un terminal (1) associé à au moins un panéliste. Au moins certains des contenus sont proposés par des éditeurs associés chacun à au moins un logo (13). Le système comprend : dans le terminal, des moyens (11) de détection, au sein d'au moins une image capturée, d'au moins une zone candidate susceptible de contenir un des logos ; et dans le terminal (1) et/ou dans au moins un équipement du back-office, des moyens (12 à 17) d'analyse de zone, configurés pour détecter si un des logos est présent dans la au moins une zone candidate et dans l'affirmative fournir un identifiant du logo détecté, et des moyens (17) de génération d'une information de consommation contenant un identifiant du terminal et l'identifiant du logo détecté. Le système comprend également, dans le au moins un serveur de mesure d'audience, des moyens d'association de l'information de consommation avec le au moins un panéliste.

Description

Système et procédé de mesure d’audience centrée-utilisateur sur un réseau informatique, notamment Internet, par détection de logo.

1. DOMAINE TECHNIQUE

Le domaine de l’invention est celui de la mesure d’audience.

Plus précisément, l’invention concerne une solution (système et procédé) de mesure d’audience centrée-utilisateur (« user-centric » en anglais), dans un contexte où au moins un serveur de mesure d’audience est configuré pour mesurer une consommation de contenus sur un réseau informatique (notamment mais non exclusivement Internet) par un terminal associé à au moins un panéliste.

Ce type de mesure d’audience est parfois appelé, par simplification et abus de langage, « mesure d’audience Internet d’un terminal panéliste ».

2. ARRIÈRE-PLAN TECHNOLOGIQUE

Dans le cas d’une mesure d’audience Internet, la mesure « user-centric » repose sur le suivi de la navigation (aussi appelée « surf » ou « trafic réseau ») sur Internet (ou un autre réseau informatique) d’un panel (échantillon d’internautes aussi appelés panélistes) représentatif d’une population d’internautes (par exemple les internautes français). Par abus de langage, le trafic réseau d’un terminal est parfois aussi appelé « audience Internet » de ce terminal. La navigation du panel est mesurée et une enquête de cadrage est faite en parallèle afin d’extrapoler leur navigation à la population Internet étudiée. En identifiant précisément le panéliste, la mesure « user-centric » permet de qualifier les visiteurs uniques qui se sont rendus sur un site au cours d’une période donnée. Un visiteur unique du panel correspond à un individu qualifié identifié. En valeur extrapolée, un panéliste correspond à des milliers de visiteurs uniques. La mesure « user-centric » fournit aux agences, éditeurs et aux professionnels du marketing des rapports précis et fiables sur l’audience des sites Internet et l’usage des internautes, ces informations pouvant servir aux planifications stratégiques, études concurrentielles ou médiaplanning. Les résultats sont par exemple actualisés tous les mois.

Pour mesurer la navigation (surf, trafic réseau) sur Internet, ou un autre réseau informatique, d’un terminal panéliste (« mesure d’audience Internet d’un terminal panéliste »), différentes techniques connues peuvent être utilisées :

1. Extension de navigateur : une extension de navigateur (plug-in) est installée sur chacun des navigateurs Internet du terminal de façon à intercepter toutes les URL (pour « Uniform Resource Locator » ou « localisateur uniforme de ressource ») des requêtes HTTP (pour « HyperText Transfer Protocol » ou « protocole de transfert hypertexte») ou HTTPS (pour « Secured HTTP» ou «HTTP sécurisé ») émises par le navigateur. Les URL des requêtes HTTP/HTTPS sont aussi appelées « informations de trafic » dans la suite de la description.

2. Equipement routeur au foyer : un équipement routeur est connecté à la box du foyer (modem-routeur ADSL ou câble) ; il est demandé aux membres du foyer panéliste de connecter leurs terminaux à ce routeur plutôt qu’à la box afin que le routeur, modifié spécifiquement par le mesureur d’audience, collecte au passage les URL des requêtes émises vers Internet.

3. Configuration proxy : la configuration réseau du terminal est paramétrée pour faire transiter le trafic à travers un proxy (serveur mandataire) qui établit la connexion vers les serveurs Internet destinataires et collecte au passage les URL des requêtes HTTP. Remarque : le proxy peut être un serveur distant opéré par le mesureur d’audience dans son back-office ou un processus logiciel interne au terminal à mesurer qui est mis en place lors de l’installation d’une application de mesure d’audience (meter).

4. Configuration VPN+proxy : une configuration VPN (pour « Virtual Private Network » ou « réseau privé virtuel ») est établie entre le terminal et un serveur VPN derrière lequel est placé un proxy chargé de collecter les URL du trafic. Contrairement à l’option précédente qui exige un paramétrage de chaque connexion Wifi (ou plus généralement chaque connexion à un réseau local sans fil répondant à une des normes IEEE 802.11) ou cellulaire (par exemple de type 2G, 3G, etc.), le VPN a l’avantage une fois configuré, de canaliser le trafic de toutes les connexions dans un canal sécurisé unique conduisant au serveur VPN et au proxy. Remarque : le serveur VPN et le proxy peuvent également être internes au terminal, même si cette implémentation est techniquement complexe à mettre en œuvre.

A l’exception de l’extension de navigateur (solution 1 ci-dessus) qui capture les URL à la source, les autres techniques (solutions 2 à 4 ci-dessus) procèdent par capture des traces réseau. Dans le cas du trafic HTTPS, une fois la connexion établie vers le serveur, le trafic est crypté donc les URL HTTPS sont inaccessibles. La mesure est limitée à la connaissance du serveur destinataire. Pour contourner cette difficulté, on procède à une attaque de type interception de type « homme du milieu » (« Man-in-themiddle ») grâce à un proxy qui intercepte le certificat serveur et envoie un autre certificat à l’application cliente. Ce certificat transmis par le proxy sera vérifié par un certificat racine issu du mesureur d’audience et que le panéliste doit installer sur son terminal. De cette façon, il est possible d’enregistrer les URL HTTPS au niveau du proxy.

Depuis quelques années, les terminaux mobiles (tablettes et smartphones) sont de plus en plus utilisés pour accéder à Internet en tous lieux. La mesure de l’audience sur ces terminaux mobiles est donc devenue primordiale. Malheureusement, les quatre technologies connues de mesure d’audience Internet listées plus haut présentent divers inconvénients, notamment pour les terminaux mobiles équipés des systèmes d’exploitation (ou OS, pour « Operating System ») mobiles « iOS » (marque déposée) et « Android (marque déposée) :

1. Extension de navigateur: d’une part, cette solution est limitée à l’usage du navigateur, ce qui exclut les applications (applications mobiles) téléchargées depuis un magasin d’applications ; d’autre part, les navigateurs sur OS mobile n’offrent pas la possibilité d’installer des extensions comme sur ordinateur.

2. Equipement routeur au foyer : cette solution est limitée à la consommation d’Internet au foyer, ce qui exclut la consommation hors domicile qui est évidemment très importante pour les smartphones et dans une moindre mesure pour les tablettes.

3. Configuration proxy : avec le système d’exploitation «Android» il est désormais impossible d’effectuer une configuration proxy de manière programmatique, sans doute afin de contrer les bloqueurs de publicités (Adblockers) qui mettent en œuvre un proxy (généralement local) pour filtrer les connexions vers les serveurs de publicités (Ad-servers). Comme il serait très laborieux de demander à un panéliste de configurer manuellement l’adresse IP et le port du proxy pour chaque nouvelle connexion réseau, cette solution est soudain devenue caduque pour l’OS mobile Android.

4. Configuration VPN+proxy : pour interdire aux internautes l’usage d’un serveur VPN situé à l’étranger afin d’accéder à des catalogues de films inaccessibles sur leur territoire, il n’est pas impossible que la fonctionnalité VPN soit également bannie des futures versions d’OS mobiles ou bloquée par certaines applications permettant d’accéder à des catalogues de vidéo à la demande (VoD) par abonnement comme Netflix.

Une autre évolution technologique menace la mesure d’audience Internet : la démocratisation du protocole HTTPS. Jusqu’à présent les systèmes de mesure à base de proxy pouvaient effectuer une attaque du type « Man-In-The-Middle » au niveau du proxy afin d’intercepter la connexion HTTPS et enregistrer l’URL au passage. Malheureusement les éditeurs d’applications utilisent de plus en plus la technique du « Certificate Pinning » afin de refuser tout certificat différent de celui de l’éditeur ; ceci leur permet justement de prévenir toute attaque du type « Man-In-The-Middle ».

On voit aussi que la société Google fournit depuis Android 7 des outils facilitant de travail des développeurs pour renforcer la sécurité («Network Security Configuration ») :

• avec ce mécanisme basé sur un simple fichier XML, un développeur d'application peut simplement définir/modifier les paramètres de sécurité de son application sans avoir à la recompiler ;

• ce fichier XML permet de définir simplement les Autorités de Certification qui vérifieront les certificats envoyés par les serveurs HTTPS (a priori un sousensemble des certificats système). Par défaut, les applications ciblant Android 7 ne font confiance qu'aux certificats système et non à ceux ajoutés (comme par exemple le certificat racine du mesureur d’audience ajouté par le dispositif de mesure pour faire une attaque du type « Man in The Middle »).

• ce fichier XML permettra aussi de faire du « Certificate Pinning » en spécifiant quel certificat serveur est attendu par l'application, ce qui bloque toute tentative d'attaque nécessaire à la mesure du HTTPS.

S’il n’est plus possible de réaliser une attaque du type « Man-In-The-Middle », la mesure des sites et applications Internet accessibles en HTTPS, qui sont de plus en plus nombreux, sera limitée aux noms de domaine et au temps passé sur ces domaines. Par exemple, il ne sera plus possible de distinguer « facebook.com/lemonde.fr » et « facebook.com/lesechos ».

D’autre part, des contenus éditoriaux sont « déportalisés » en ce sens qu’ils sont proposés par des éditeurs sur des plateformes de diffusion partenaires mettant à disposition leur réseau de diffusion de contenu (ou CDN, pour « Content Delivery Network » en anglais) pour donner un accès très rapide aux articles.

Il s’agit notamment :

• des « Instant Articles » (ou «Articles Instantanés» en français) dans l’application Facebook (indiqués par un petit éclair dans l’aperçu de l’article) ; et • des « Accelerated Mobile Pages » (ou « Pages Mobiles Accélérées » en français) sur le moteur de recherche Google (indiquées par le sigle AMP dans l’aperçu de l’article) permettent de charger très rapidement le contenu des éditeurs grâce au CDN de Google. La technologie AMP est également adoptée par Twitter, Pinterest, WordPress.com, Linkedln, etc. (marques déposées).

Malheureusement les noms de domaines et sous-domaines capturés permettent rarement de savoir de quel éditeur de contenus il s’agit puisque les contenus sont servis par des domaines gérés par Facebook et Google et non par les éditeurs eux-mêmes :

• pour les « Instant Articles », le domaine « fbcdn.net » géré par Facebook ; et • pour les « AMP », le domaine « cdn.ampproject.org » (ou « google.fr ») géré par Google.

Il faut donc intercepter l’URL complète pour avoir l’espoir de trouver le nom de l’éditeur, mais comme on l’a dit précédemment, il va devenir de plus en plus difficile d’intercepter les URL HTTPS. Dès lors, une solution consiste à marquer les pages avec des techniques de marquage (Web analytics) ; mais si l’application est servie en HTTPS, les marqueurs doivent également être servis en HTTPS, ce qui ne permet pas leur interception sur certains OS comme Android 7+. Une autre solution serait de récupérer les hits des panélistes sur les nœuds de mesure site-centric mais cela impliquerait un partenariat avec tous les fournisseurs de technologies de Web analytics, ce qui n’est pas réaliste.

3, OBJECTIFS

L’invention, dans au moins un mode de réalisation, a notamment pour objectif de pallier ces différents inconvénients de l’état de la technique.

Plus précisément, dans au moins un mode de réalisation de l’invention, un objectif est de fournir une solution de mesure d’audience centrée-utilisateur (« usercentric ») qui :

• ne nécessite pas l’installation d’une extension de navigateur ;

• n’est pas limitée à la consommation au foyer, mais inclut la consommation en mobilité ;

• ne nécessite pas d’effectuer une configuration proxy ;

• ne nécessite pas d’effectuer une configuration VPN ; et • ne nécessite pas de réaliser une attaque du type « Man-In-The-Middle » et fonctionne donc pour du trafic HTTPS même si une attaque du type « Man-InThe-Middle » est impossible.

Un autre objectif d’au moins un mode de réalisation de l’invention est de fournir une telle solution qui soit simple à mettre en œuvre et peu coûteuse.

Un autre objectif d’au moins un mode de réalisation de l’invention est de fournir une telle solution qui fonctionne pour des contenus éditoriaux « déportalisés » (notamment de type « Instant Articles » ou « Accelerated Mobile Pages »).

Un autre objectif d’au moins un mode de réalisation de l’invention est de fournir une telle solution qui permette de limiter la puissance CPU utilisée sur les serveurs de mesure d’audience (pour limiter les coûts d’infrastructure).

Un autre objectif d’au moins un mode de réalisation de l’invention est de fournir une telle solution qui soit fondée sur ce que le panéliste voit effectivement sur son terminal et non pas sur des traces réseau qui ne se traduisent pas toujours par un affichage de contenu.

Un autre objectif d’au moins un mode de réalisation de l’invention est de fournir une telle solution qui ne nécessite pas de transmettre au serveur de mesure d’audience (et permette donc de garantir la confidentialité) des informations personnelles et sensibles affichées à l’écran du terminal.

4. RÉSUMÉ

Dans un mode de réalisation particulier de l’invention, il est proposé un système de mesure d’audience centrée-utilisateur, comprenant au moins un serveur de mesure d’audience configuré pour mesurer une consommation de contenus sur un réseau informatique par un terminal associé à au moins un panéliste, au moins certains des contenus étant proposés par des éditeurs associés chacun à au moins un logo. Le système comprend :

des moyens de capture, compris dans ou placés sur ou à proximité du terminal, et configurés pour capturer au moins une image affichée par un écran du terminal ; des moyens d’analyse d’image, comprenant :

* dans le terminal : des moyens de détection, au sein de ladite au moins une image capturée, d’au moins une zone candidate susceptible de contenir un des logos ;

* dans le terminal et/ou dans au moins un équipement d’infrastructure et/ou dans ledit au moins un serveur de mesure d’audience :

- des moyens d’analyse de zone, configurés pour détecter si un des logos est présent dans ladite au moins une zone candidate et dans l’affirmative fournir un identifiant du logo détecté ;

- des moyens de génération d’une information de consommation contenant un identifiant du terminal et l’identifiant du logo détecté ; et dans ledit au moins un serveur de mesure d’audience, des moyens d’association de ladite information de consommation avec ledit au moins un panéliste.

Avec l’augmentation de la puissance de calcul des terminaux et l’augmentation des débits des réseaux de communication, un nouveau paradigme de mesure d’audience est proposé, qui consiste à :

• détecter des logos d’éditeurs dans les images affichées par le terminal du panéliste, et déduire des logos détectés des informations pertinentes pour la mesure d’audience (à savoir des contacts entre le terminal et les éditeurs des contenus dans lesquels les logos ont été détectés ; en d’autres termes, pour détecter un contact entre un panéliste et un éditeur de contenu, la solution proposée consiste à détecter le logo de cet éditeur dans une image de capture d’écran) ;

• tout en garantissant que les informations personnelles, contenues dans les images affichées à l’écran du terminal, ne sont pas transmises aux équipements backoffice du mesureur d’audience (notamment le serveur de mesure d’audience).

Ceci est rendu possible par le fait que le terminal effectue au moins (c'est-à-dire dans toutes les implémentations) la détection de la ou les zones candidates susceptibles de contenir un logo, et éventuellement (c'est-à-dire dans certaines des implémentations) une partie ou la totalité de l’analyse de ces zones candidates. Dans tous les cas, le terminal n’envoie donc jamais les images capturées (dans leur globalité), mais envoie soit les zones candidates détectées soit des résultats intermédiaires ou finaux de l’analyse de ces zones candidates.

En d’autres termes, la solution proposée consiste à ne pas collecter les captures d’écran sur les serveurs de mesure d’audience ou tout autre équipement du back-office, mais à effectuer une partie ou la totalité des traitements (détection de logos) localement dans le terminal du panéliste afin que les captures d’écran (images) puissent être détruites après traitement par le terminal et que seul le résultat (intermédiaire ou final) du traitement soit transmis aux serveurs de mesure d’audience (exemple de résultat final : détection d’un contact entre le terminal et l’éditeur « Le Monde », c'est-à-dire consommation par le terminal d’un contenu contenant le logo de cet éditeur et donc fourni par celui-ci).

La solution proposée est donc compatible notamment avec la règlementation européenne sur la protection des données personnelles (RGPD), qui impose d’assurer la sécurité des informations sensibles. Bien que les captures d’écran ne fassent pas expressément partie des données personnelles (comme l’adresse IP par exemple), elles peuvent contenir des informations aussi sensibles que le montant des comptes bancaires du panéliste ou sa consultation de blogs révélant des idées ou des comportements inavouables.

La solution proposée permet également de limiter la puissance CPU utilisée sur les serveurs (ce qui permet de limiter les coûts d’infrastructure) en exploitant la puissance CPU inutilisée des terminaux des panélistes (par exemple lors du mode veille). Elle permet également de limiter la quantité de données remontées sur le réseau, en particulier sur le réseau cellulaire, afin de ne pas affecter le forfait du panéliste. Pour cette raison on privilégie la collecte quand le terminal est connecté en Wifi.

En outre, la solution proposée permet de détecter un contact avec un éditeur alors que ce contact n’était plus détectable avec les mesures traditionnelles basées sur l’interception du trafic HTTPS. On rappelle que s’il n’est plus possible de réaliser une attaque du type «Man-In-The-Middle», la mesure des sites et applications Internet accessibles en HTTPS est limitée, avec les mesures traditionnelles détaillées plus haut, aux noms de domaine et au temps passé sur ces domaines.

On notera également que la solution proposée est fondée sur ce que le panéliste voit effectivement sur l’écran de son terminal et non pas sur des traces réseau qui ne se traduisent pas toujours par un affichage de contenu. De cette façon, on sait précisément ce que voit le panéliste.

On notera enfin que la solution proposée se distingue, dans son principe même, des techniques connues de mesure de trafic Internet discutées plus haut (au paragraphe

2) et présente donc plusieurs avantages par rapport à celles-ci :

• elle ne nécessite pas l’installation d’une extension de navigateur ;

• elle n’est pas limitée à la consommation au foyer, mais inclut la consommation en mobilité ;

• elle ne nécessite pas d’effectuer une configuration proxy ;

• elle ne nécessite pas d’effectuer une configuration VPN ;

• elle ne nécessite pas de réaliser une attaque du type « Man-In-The-Middle » (elle permet donc d’analyser la consommation Internet d’un panéliste même lorsqu’il n’est plus possible d’intercepter le trafic HTTPS du fait de l’augmentation du niveau de sécurité sur Internet).

Dans une première implémentation des moyens de capture, ceux-ci comprennent, au sein du terminal, un module de capture d’écran réalisé de façon matérielle et/ou logicielle.

Un avantage de cette première implémentation est que le module de capture d’écran est interne au terminal (pas de dispositif supplémentaire pour le panéliste). Un autre avantage est que le module de capture d’écran permet de générer directement des images numériques (simplification des traitements), avec une résolution suffisante pour atteindre de meilleurs niveaux d’analyse d’image.

Avantageusement, dans le cas de la première implémentation des moyens de capture, le terminal comprend un module de mesure de trafic, configuré pour activer le module de capture d’écran :

en cas de détection d’un lancement de l’exécution par le terminal d’une application mobile dont le trafic ne peut pas être mesuré par le module de mesure de trafic ; et/ou en cas de détection d’un lancement de l’exécution par le terminal d’un navigateur permettant d’accéder à des pages mobiles accélérées.

Ainsi, la solution proposée peut être utilisée en complément de la technologie traditionnelle basée sur l’utilisation d’un module de mesure de trafic (meter), quand celle-ci n’est pas utilisable (par exemple dans le cas du lancement de l’application mobile Facebook qui fait du « Certificate Pinning » empêchant de détecter les « Instants Articles », ou encore dans le cas du lancement du navigateur Chrome de Google empêchant de détecter les AMP).

Ceci permet de limiter les captures d’écran, et donc de limiter l’espace mémoire de stockage des images (dans le terminal) et contraindre la puissance de calcul nécessaire pour les traiter (dans le terminal et côté back-office du mesureur d’audience (dans le serveur de mesure d’audience et/ou dans un autre équipement de l’infrastructure du mesureur d’audience)).

Avantageusement, dans le cas de la première implémentation des moyens de capture, le terminal comprend un module de suivi d’interaction, configuré pour activer le module de capture d’écran en cas de détection d’une interaction dudit au moins un panéliste avec le terminal susceptible de changer un contexte affiché sur l’écran du terminal.

Ceci permet également de limiter les captures d’écran.

Dans une deuxième implémentation des moyens de capture, ceux-ci comprennent un dispositif de prise de vues, de type caméra ou appareil photographique, externe au terminal.

Un avantage de cette deuxième implémentation des moyens de capture est que le dispositif de prise de vues peut être choisi parmi les nombreux modèles existants et peu coûteux. Un autre avantage est que le dispositif de prise de vues permet de générer directement des images numériques (simplification des traitements), avec une résolution suffisante pour atteindre de meilleurs niveaux d’analyse d’image.

Dans une troisième implémentation des moyens de capture, ceux-ci comprennent au moins un film transparent, configuré pour être placé contre un écran du terminal, conducteur si l’écran du terminal est tactile, et comprenant ou coopérant avec un réseau de photo-détecteurs.

Un avantage de cette troisième implémentation des moyens de capture est qu’elle ne nécessite ni module de capture d’écran interne au terminal ni dispositif de prise de vues de type caméra ou appareil photographique externe au terminal (qui peut être encombrant, peu élégant et conduire à des images déformées et/ou mal cadrées, dans lesquelles l’écran du terminal est absent ou trop petit pour pouvoir en extraire des informations). Un autre avantage est que le film transparent peut servir de protection à l’écran du terminal afin de le protéger des rayures ou d’une cassure en cas de chute du terminal.

Avantageusement, le terminal comprend :

des moyens de stockage de données appartenant au groupe comprenant :

* ladite au moins une image capturée ;

* ladite au moins une zone candidate ; et * de résultats intermédiaires résultant de traitements intermédiaires exécutés les moyens d’analyse de zone ; et des moyens de déport temporel du traitement des données stockées, par les moyens de détection de ladite au moins une zone candidate et/ou les moyens d’analyse de zone, jusqu’à une mise en veille ou en charge du terminal.

Ceci permet de réaliser les étapes les plus intensives en temps différé, lorsque le terminal est en veille, ou mieux, lorsqu’il est en charge sur le secteur.

Avantageusement, les contenus sont des contenus de type texte et/ou image lus par un navigateur exécuté par le terminal ou par une application mobile exécutée par le terminal.

Ainsi, la solution proposée s’applique aux deux modes de consommation de contenu sur un terminal, l’un par utilisation d’un navigateur ou l’autre par utilisation d’une application mobile (aussi appelée « application tierce » ou « application éditeur ») téléchargée depuis un magasin d’applications.

Dans une première répartition de blocs fonctionnels entre le terminal et au moins un équipements back-office du mesureur d’audience (serveur de mesure d’audience et/ou autre équipement d’infrastructure), le terminal comprend l’intégralité des moyens d’analyse de zone, ainsi que les moyens de génération de l’information de consommation.

Cette première répartition est bien adaptée au cas d’un terminal disposant de suffisamment de mémoire et de puissance de calcul. Elle permet de minimiser la quantité de données transmises au serveur de mesure et de garantir une protection forte des informations personnelles contenues dans les captures d’écran (puisque seule l’information de consommation, indiquant un contact entre le terminal et l’éditeur, est transmise au serveur de mesure d’audience).

Dans une deuxième répartition de blocs fonctionnels entre le terminal et ledit au moins un équipements back-office du mesureur d’audience, le terminal comprend une première partie des moyens d’analyse de zone, permettant d’effectuer au moins un traitement intermédiaire générant un résultat intermédiaire ; ledit au moins un équipement d’infrastructure et/ou ledit au moins un serveur de mesure d’audience comprend une deuxième partie des moyens d’analyse de zone, permettant d’effectuer au moins un traitement final recevant ledit résultat intermédiaire et générant ledit résultat d’analyse, ainsi que les moyens de génération de l’information de consommation.

Cette deuxième répartition permet de déporter hors du terminal certaines étapes de calcul intensives, sans pour autant prendre le risque d’exposer des informations personnelles contenues dans les captures d’écran.

Dans une troisième répartition de blocs fonctionnels entre le terminal et ledit au moins un équipements back-office du mesureur d’audience, ledit au moins un équipement d’infrastructure et/ou ledit au moins un serveur de mesure d’audience comprend l’intégralité des moyens d’analyse de zone, ainsi que les moyens de génération de l’information de consommation.

Cette troisième répartition permet de minimiser les ressources de mémoire et de puissance de calcul nécessaires dans le terminal, sans pour autant prendre le risque d’exposer des informations personnelles contenues dans les captures d’écran.

Avantageusement, les moyens de détection de ladite au moins une zone candidate comprennent :

des moyens de détection de contours et de caractéristiques géométriques pour au moins une zone de ladite au moins une image capturée ; et des moyens de sélection permettant, en fonction des contours et des caractéristiques géométriques calculées, de ne conserver que la ou les zones susceptibles de contenir un des logos.

Dans une première implémentation des moyens d’analyse de zone, ceux-ci comprennent :

des moyens d’extraction de descripteurs, pour la ou chaque zone candidate ;

des moyens de comparaison, pour la ou chaque zone candidate, entre les descripteurs extraits et des descripteurs de référence obtenus avec les logos associés aux éditeurs ;

des moyens de décision, configurés pour décider, en fonction d’informations de comparaison fournies par les moyens de comparaison, si la ou chaque zone candidate contient un des logos et dans l’affirmative quel est le logo détecté ; et des moyens de sélection, activés si une décision positive de présence de logo est prise pour au moins deux zones candidates, et configurés pour sélectionner un logo parmi plusieurs logos détectés.

Avantageusement, les moyens de décision comprennent des moyens de calcul, pour la ou chaque zone candidate, d’une taille du logo détecté, et des moyens de tri permettant de conserver ou non le logo détecté en fonction de la taille du logo détecté.

Dans une deuxième implémentation des moyens d’analyse de zone, ceux-ci comprennent un dispositif de réseau neuronal configuré pour identifier un logo le plus probable pour la ou chaque zone candidate.

Dans un autre mode de réalisation de l'invention, il est proposé un procédé de mesure d’audience centrée-utilisateur, mis en œuvre dans un système comprenant au moins un serveur de mesure d’audience configuré pour mesurer une consommation de contenus sur un réseau informatique par un terminal associé à au moins un panéliste, au moins certains des contenus étant proposés par des éditeurs associés chacun à au moins un logo. Le procédé comprend :

une capture, par un moyen de capture compris dans ou placés sur ou à proximité du terminal, d’au moins une image affichée par un écran du terminal ;

une analyse d’image, comprenant :

* dans le terminal, une détection, au sein de ladite au moins une image capturée, d’au moins une zone candidate susceptible de contenir un des logos ;

* dans le terminal et/ou dans au moins un équipement d’infrastructure et/ou dans ledit au moins un serveur de mesure d’audience :

- une analyse de zone, pour détecter si un des logos est présent dans ladite au moins une zone candidate et dans l’affirmative fournir un identifiant du logo détecté ; et

- une génération d’une information de consommation contenant un identifiant du terminal et l’identifiant du logo détecté ; et dans ledit au moins un serveur de mesure d’audience, une association de ladite information de consommation avec ledit au moins un panéliste.

Ce procédé présente les mêmes avantages que ceux discutés plus haut pour le système.

5. LISTE DES FIGURES

D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante, donnée à titre d’exemple indicatif et non limitatif, et des dessins annexés, dans lesquels :

la figure 1 est un organigramme d’un procédé illustrant le principe général de l’invention ;

la figure 2 présente un synoptique d’un système selon un premier mode de réalisation particulier de l’invention ;

la figure 3 présente un synoptique d’un système selon un deuxième mode de réalisation particulier de l’invention ;

la figure 4 présente un synoptique d’un système selon un troisième mode de réalisation particulier de l’invention ;

les figures 5A à 5F illustrent, à travers un exemple d’image capturée, les résultats de différentes sous-étapes de l’étape de détection de zone(s) candidate(s) apparaissant sur la figure 1 ; et la figure 6 présente la structure d'une entité, pouvant être le terminal ou le serveur de mesure d’audience (ou un autre équipement du back-office du mesureur d’audience), selon un mode de réalisation particulier de l'invention

6. DESCRIPTION DÉTAILLÉE

Sur toutes les figures du présent document, les éléments et étapes identiques sont désignés par une même référence numérique.

Le contexte est celui d’un système de mesure d’audience centrée-utilisateur, comprenant au moins un serveur de mesure d’audience configuré pour mesurer une consommation de contenus sur un réseau informatique (notamment mais non exclusivement Internet) par un terminal (ordinateur, tablette, smartphone, etc.) associé à au moins un panéliste.

Uniquement par souci de simplification, on considère dans la suite de la description un unique serveur de mesure d’audience, incluant les fonctions de collecte de données et de mesure d’audience proprement dite. Il est clair qu’en pratique ces fonctions peuvent être réparties sur plusieurs équipements du back-office du mesureur d’audience.

Les contenus sont par exemple des contenus de type texte et/ou image lus par un navigateur Internet exécuté par le terminal ou par une application mobile (application éditeur) exécutée par le terminal.

On suppose par ailleurs qu’au moins certains des contenus sont proposés par des éditeurs de contenus associés chacun à au moins un logo.

Le principe général de la solution proposée (nouveau paradigme) consiste à analyser les images affichées par le terminal afin d’en extraire les informations pertinentes pour la mesure d’audience. Ce nouveau paradigme s’appuie sur l’augmentation de la puissance de calcul des terminaux et l’augmentation des débits des réseaux de communication.

Plus précisément, et comme illustré sur la figure 1, le procédé proposé est exécuté pour une partie par le terminal et pour l’autre partie par le back-office du mesureur d’audience (c'est-à-dire par le serveur de mesure d’audience et éventuellement un ou plusieurs autres équipements d’infrastructure du mesureur d’audience).

Ainsi, on peut distinguer trois lots d’étape(s) au sein du procédé :

• le lot I, correspond aux étapes effectuées par le terminal :

o une étape SI de capture d’au moins une image affichée par un écran du terminal ; et o une étape S2 de détection, au sein de l’image capturée, d’une ou plusieurs zones candidates susceptibles de contenir un des logos ;

• le lot II correspond aux étapes effectuées par le terminal et/ou par le back-office du mesureur d’audience :

o une étape S3 d’analyse de zone, pour détecter si un des logos est présent dans la ou les zones candidates et dans l’affirmative fournir un identifiant du logo détecté ; et o une étape S4 de génération d’une information de consommation contenant un identifiant du terminal et l’identifiant du logo détecté ;

• le lot III correspond à une étape effectuée par le back-office du mesureur d’audience :

o une étape S5 d’association de l’information de consommation avec le(s) panéliste(s).

Des exemples d’implémentations de ces étapes sont détaillées ci-après, en relation avec différents modes de réalisation du système mettant en œuvre le procédé proposé.

On présente maintenant, en relation avec la figure 2, un système selon un premier mode de réalisation de l’invention.

Le système comprend un terminal 1 et, au sein du back-office 2 du mesureur d’audience, un serveur de mesure d’audience 3.

Le terminal 1 comprend plusieurs blocs fonctionnels (référencés 4, 5, 7, 10 à 17) qui sont détaillés ci-après. Ils sont aussi appelés modules et réalisés sous forme matérielle et/ou logicielle.

Le terminal comprend un module de capture d’écran 7, configuré pour capturer au moins une image affichée par un écran du terminal. Il s’agit par exemple d’un module logiciel, intégré ou non à une application de mesure 5 décrite ci-dessous.

Dans une première variante, le module logiciel de capture d’écran 7 est remplacé par (ou coopère avec) un dispositif de prise de vues 9, de type caméra ou appareil photographique, externe au terminal 1.

Dans une deuxième variante, le module logiciel de capture d’écran 7 est remplacé par (ou coopère avec) au moins un film transparent photo-détecteur 8 placé contre l’écran du terminal à la manière d’un filtre de confidentialité. Le film transparent est conducteur si l’écran du terminal est tactile. Il comprend ou coopère avec un réseau de photo-détecteurs. Le film a pour fonction de capturer les images affichées par l’écran afin de pouvoir les analyser. Il n’est pas nécessaire de capturer les images à la fréquence vidéo de 50 images par seconde. Par exemple, un échantillonnage d’une image par seconde peut être suffisant selon les types de mesure visés. Les images sont ensuite transmises au terminal où elles sont être traitées.

Dans une implémentation particulière de la deuxième variante, le film transparent est celui mis au point en 2013 par l’université autrichienne Johannes Kepler de Linz (voir par exemple le lien http://www.infohightech.com/un-nouveau-capteurdimages-transparent-plat-et-flexible-pour-des-ecrans-a-controle-gestuel). Il fonctionne comme un concentrateur luminescent, ce qui permet d’éviter d’opacifier le film avec des capteurs et des circuits. Une longueur d’onde de la lumière incidente est absorbée par le film et retransmise à l’intérieur du film dans toutes les directions à une fréquence plus faible. A la périphérie du film, des triangles percés permettent de sélectionner certains angles d’incidence des rayons lumineux se propageant à l’intérieur du film. Les rayons sélectionnés sont projetés sur des barrettes de photo-capteurs. Chaque photocapteur intègre toute la lumière transportée par les rayons lumineux selon un angle donné. A partir des signaux captés par les photo-capteurs situés sur les quatre côtés du film, des techniques de reconstruction d’images tomographiques sont utilisées pour reconstruire les images affichées sur le film. Avec un unique film transparent, l’image reconstruite est monochrome. En superposant plusieurs films absorbant chacun une couleur différente, il est possible de reconstruire des images colorées.

Dans une autre implémentation particulière de la deuxième variante, le film transparent comprend un réseau de photo-détecteurs par exemple à base de graphène, ce réseau étant configuré pour générer directement des images numériques. Le graphène est un matériau constitué d’atomes de carbone assemblés en couches très minces, ce qui lui confère légèreté et transparence. Différentes équipes travaillent sur la mise au point de photo-détecteurs à base de graphène, pour capturer des images nativement en deux dimensions sans avoir à procéder à une reconstruction. Voir par exemple les liens : http ://www .graphene-info .com/graphene-sensors et http ://www .gizmag .com/grapheneimaging-sensor/27718/.

Dans la suite, nous ferons l’hypothèse que c’est le module logiciel de capture d’écran 7, intégré au terminal 1, qui est utilisé. Ceci permet en effet un couplage plus fort entre le système d’exploitation du terminal et la fonction de capture (plus complexe à réaliser avec un film transparent devant être piloté depuis le terminal). Ceci permet également d’obtenir des images ayant une bonne résolution et parfaitement cadrées.

Il est très important de limiter les captures d’écran pour limiter l’espace mémoire de stockage des images et contraindre la puissance de calcul nécessaire pour les traiter. Le but est donc de trouver un moyen d’effectuer des captures à bon escient, plutôt que de faire des captures périodiques (par exemple toutes les 500ms). Deux solutions (correspondant respectivement aux modules 6a et 6b détaillés ci-après) sont possibles et peuvent se cumuler, permettant chacune d’activer de manière sélective le module logiciel de capture d’écran 7.

On suppose que le terminal comprend une application de mesure (aussi appelée «meter» ou «module de mesure de trafic») 5, qui s’exécute sur un système d’exploitation (OS) 4 et comprend au moins un des deux modules suivants (dans une variante ces modules sont externes à l’application de mesure 5) permettant de détecter quand une capture d’écran doit être déclenchée :

• un premier module de détection 6a, configuré pour activer le module de capture d’écran 7 en cas de détection d’un lancement de l’exécution par le terminal :

o d’une application mobile (application éditeur) dont le trafic ne peut pas être mesuré par l’application de mesure 5 ; et/ou o d’un navigateur permettant d’accéder à des pages mobiles accélérées (AMP) ;

• un deuxième module de détection 6b, configuré pour activer le module de capture d’écran 7 en cas de détection d’une interaction du panéliste avec le terminal susceptible de changer un contexte affiché sur l’écran du terminal (par exemple : sélection d’un lien sur un écran tactile pour charger une page).

En d’autres termes, le premier module de détection 6a permet de déclencher une capture d’écran lorsqu’on sait que les techniques traditionnelles évoquées précédemment ne sont plus capables d’intercepter les URL, par exemple pour la mesure de l’application Facebook rendue impossible par le « Certificate Pinning » ou lors du lancement d’un navigateur Internet pouvant potentiellement donner accès à des pages mobiles accélérées (AMP). Dès lors, on peut activer les captures d’écran au lancement d’une telle application ou du navigateur, et l’arrêter lors de son passage en tâche de fond.

Le deuxième module de détection 6b permet quant à lui de déclencher une capture d’écran lorsqu’on sait que l’utilisateur a une interaction avec son terminal qui est susceptible de changer le contexte. En particulier, sur un système d’exploitation comme Android, il est possible de demander au panéliste d’activer les fonctions nommées « Accessibilité ». Ces fonctions sont conçues pour permettre aux développeurs d’application d’en faciliter l’usage par des personnes déficientes visuelles ; elles renvoient des indications sur le type d’interaction tactile de l’utilisateur avec l’écran de son terminal. Dès lors, il est possible de détecter si l’utilisateur scrolle une page web ou sélectionne un lien pour ouvrir une nouvelle page. Dans le premier cas, la page ne changeant pas, il ne paraît pas utile pour la mesure d’audience d’effectuer des captures d’écran et d’analyser le contenu. Dans le second cas, il paraît utile d’effectuer une ou plusieurs capture(s) (après un certain délai de chargement de la page) pour analyser le nouveau contexte et détecter un éventuel contact entre l’utilisateur et un éditeur à mesurer.

Dans le premier mode de réalisation, illustré sur la figure 2, les images résultant des captures d’écran sont entièrement traitées localement, dans le terminal du panéliste, afin que les images puissent être détruites après traitement et que seul le résultat du traitement soit transmis aux serveurs de mesure d’audience (ex. : détection d’un contact avec l’éditeur « Le Monde »). Pour détecter un contact entre un panéliste et un éditeur, l’idée proposée consiste à détecter le logo de cet éditeur dans l’image capturée.

On présente maintenant, toujours en relation avec la figure 2, les blocs fonctionnels (référencés 11 à 17) qui permettent le traitement par le terminal 1 d’une image résultant d’une capture d’écran. On distingue une phase de préparation du référentiel (A), mise en œuvre par les modules référencés 13 à 15, et une phase de traitement (B), mise en œuvre par les modules référencés 11,12,16 et 17.

A- Phase d’initialisation (préparation du référentiel)

Avant d’analyser n’importe quelle image dans la phase de traitement, il convient d’effectuer les trois opérations préalables décrites ci-après.

A-l : Constituer une base 13 avec les logos d’éditeurs à reconnaître (logos de référence), ci-après appelée la base « Editeurs », en respectant en particulier les points suivants :

• pour un logo donné, utiliser une image d’une résolution suffisante (par exemple une aire supérieure à 10 000 pixels), convenablement centrée ;

• pour un éditeur donné, obtenir les différentes versions de son logo (en distinguant la version principale de celle présente sur les réseaux sociaux.

A-2 : Dans le module 14 de calcul des descripteurs de référence, extraire pour chaque image de logo des descripteurs, dits descripteurs de référence, nécessaires au fonctionnement de l’algorithme. Ils sont stockés dans une base de données des descripteurs de référence 15. Un descripteur est un vecteur de réels caractérisant localement une image. Comme détaille ci-après, le rapprochement (par le module 16) entre des descripteurs extraits (par le module 12) de zones de l’image à analyser et les descripteurs de référence 15 des logos stockés dans la base 13 est en effet le mécanisme principal d’identification des logos. Il existe de nombreux type de descripteurs pouvant être utilisés comme le SIFT, SURF, ORB, LATCH, etc. On utilise par exemple des descripteurs SURF optimisés (c’est-à-dire « non orientés » et « non étendus »).

A-3 : Construire, dans la base de données 15, un index des descripteurs de référence afin de réduire le temps pris par les opérations de rapprochement (matching) des descripteurs. Différentes implémentations de cet index sont envisageables, les plus usitées étant regroupées sous l’intitulé générique des méthodes « FEANN ».

Dans une variante de réalisation, la base des logos 13 et le module 14 de calcul des descripteurs de référence sont compris dans le back-office 2 du mesureur d’audience, ainsi qu’une base principale des descripteurs de référence. En d’autres termes, la phase de préparation est effectuée au back-office 2, et la base des descripteurs de référence Î5 contenue dans le terminal est une copie de la base principale gérée dans le back-office 2. Cette copie est par exemple obtenue par téléchargement dans le terminal, pouvant être réitéré périodiquement pour tenir compte de l’évolution de la base de logos référencés (et donc de l’évolution de la base des descripteurs correspondants).

B- Phase de traitement

Une fois construit la base 15 et l’index contenant tous les descripteurs de référence, plusieurs opérations doivent être effectuées afin d’identifier la présence de logo(s) sur une capture d’écran. Ces opérations sont détaillées ci-dessous.

B-l) Détection de zone(s) candidate(s) pouvant contenir un logo (cf, figures 5A à 5F)

Les figures 5A à 5F illustrent, à travers un exemple d’image capturée, les résultats de différentes sous-étapes de l’opération (étape) de détection de zone(s) candidate(s), réalisée par le module 11.

B-l-1) Normalisation de l’image de la capture d’écran

L’image est modifiée afin que sa largeur soit par exemple exactement de 544 pixels (largeur des captures d’écran sur lesquelles l’algorithme a été calibré) en laissant inchangé le ratio hauteur / largeur. Puis, quand il existe, le cadre noir autour de l’écran est remplacé par un cadre blanc.

B-1-2) Détection (calcul) de zones

Cette première étape consiste à rechercher, sur une capture d’écran convertie en niveaux de gris (voir figure 5A) les zones susceptibles de contenir un logo. Elle est ellemême constituée des étapes suivantes :

a. dans un premier temps est calculé en chaque pixel la valeur absolue de l’écart entre la valeur du pixel et la valeur moyenne dans une zone autour du pixel (par exemple grâce à une opération de convolution par un noyau gaussien dissymétrique) (voir figure 5B) ;

b. une opération de seuillage sur l’ensemble de l’image est ensuite réalisée, sur les valeurs calculées au point a ci-dessus, afin de ne retenir que les pixels dont la valeur calculée est supérieure à un seuil déterminé identifiés au point (a) cidessus (voir figure 5C). En effet, une valeur calculée élevée signifie « qu’il se passe quelque chose localement » au niveau de ce pixel (changement de luminance important, pixel sur une bordure, etc.) ;

c. enfin une ou plusieurs opérations « morphologiques » (érosion, dilatation) permettent de regrouper par zone les pixels sélectionnés (voir figure 5D).

B-1-3) Sélection de contours

Pour chaque zone obtenue à l’étape B-l-2, sont extraits les contours ainsi que les caractéristiques de cette zone (aire, hauteur, etc.) (voir figure 5E).

Certains contours sont alors supprimés car ils ne peuvent contenir un logo (aire trop grande ou trop petite, contour trop « aplati », trop faible hauteur en pixel, etc.). Les zones associées aux contours conservés constituent les zones candidates, susceptibles de contenir un logo (voir figure 5F).

Pour les contours pour lesquels hauteur et largeur sont comparables, une version « élargie à droite » est ajoutée à la liste des contours retenus. Ceci permet de mieux identifier les logos issus des réseaux sociaux pour lesquels le nom de l’éditeur est renseigné à droite du logo.

B-2) Analyse des zones candidates

Une analyse détaillée des zones candidates (c'est-à-dire associées aux contours sélectionnés) est ensuite réalisée, avec pour chaque zone candidate les opérations suivantes :

a. le module 12 effectue un agrandissement de la zone afin d’obtenir un niveau de détail suffisant (un facteur 3 pour cet agrandissement est par exemple retenu) ;

b. le module 12 effectue une extraction des descripteurs SURF (non orientés et non étendus) ;

c. le module 16 effectue un rapprochement (aussi appelé « matching » ou « mise en correspondance ») entre ces descripteurs extraits et ceux de référence contenus dans la base 15 constituée lors de la phase d’initialisation (A). Ce rapprochement est en principe réalisé à partir de l’index construit sur les descripteurs de référence afin de réduire le temps de calcul. Il est toutefois possible d’effectuer le rapprochement sans méthode de type « FLANN » mais en effectuant en « Brute Force » un rapprochement terme à terme.

d. le module 17 utilise un certain nombre d’heuristiques afin d’éliminer rapidement les zones sans logo et décider si l’image (contenant la ou les zones candidates) contient un des logos de la base 13, et dans l’affirmative lequel (c'est-à-dire quel est son identifiant). Il génère une information de consommation 18 contenant un identifiant du terminal et l’identifiant du logo détecté. Cette information est transmise au serveur de mesure d’audience 3.

Ee terme « rapprochement » (matching) signifie par exemple (i) calculer la distance euclidienne entre les deux vecteurs des descripteurs (de taille 64 dans la version non étendue) et (ii) retenir les paires de descripteurs pour lesquelles cette distance est inférieure à un seuil absolu (par exemple 0,3).

Afin de tenir compte de l’existence de plusieurs versions d’un même logo dans la base de logos 13, l’algorithme recherche, pour chaque descripteur extrait de la capture d’écran, une correspondance entre ce descripteur et les deux descripteurs de la base de descripteurs de référence 15 les plus proches (c'est-à-dire les deux plus proches « voisins »).

Dans l’étape d) ci-dessus, effectuée par le module 17, une zone est considérée comme sans logo dès lors que l’un des critères suivants n’est pas respecté :

i. le nombre total de paires obtenues par rapprochement (matching) des descripteurs est suffisamment élevé ;

ii. le nombre de paires obtenues par rapprochement des descripteurs est suffisamment élevé pour le logo de la base 13 ayant eu le plus grand nombre de correspondances (matchs) ;

iii. pour ce même logo (celui du point ii), il existe une homographie cohérente ;

iv. cette homographie correspond à suffisamment de points et présente une déformation cohérente avec la problématique (l’angle de rotation associé à la transformation doit en effet être quasi nul).

Si tous ces critères (i à iv) sont respectés, l’algorithme considère qu’il y a effectivement un logo dans la zone analysée.

Les opérations i à iv effectuées pour chaque zone permettent donc d’identifier les zones de la capture d’écran contenant effectivement un logo. Or il arrive qu’il existe plusieurs zones avec un logo. Afin d’améliorer la robustesse des résultats, seule l’identité du logo correspondant à la zone ayant obtenu le plus grand nombre de correspondances (matchs) est retenue et est présentée comme le résultat final de l’algorithme.

Il faut noter que le calcul de l’homographie permet accessoirement de récupérer une information de taille du logo détecté ce qui est utile pour dissocier :

• le petit logo d’un éditeur qui apparaît par exemple dans un aperçu d’article de type AMP/Google et qui, par convention, n’est pas comptabilisé dans l’audience ; et • le grand logo du même éditeur qui apparaît sur l’article complet et qui doit bien sûr être comptabilisé dans l’audience.

On présente maintenant le traitement par le serveur de mesure d’audience 3 de l’information de consommation 18 contenant l’identifiant du terminal et l’identifiant du logo détecté. L’objet de ce traitement est d’associer l’information de consommation avec le(s) panéliste(s) qui utilisai(en)t le terminal au moment de la capture d’image ayant permis de détecter le logo. Il s’agit d’un unique panéliste, si le terminal est du type non partagé, ou d’une liste de panéliste(s) déclaré(s), si le terminal est du type partagé.

Dans le cas d’un terminal non partagé, le terminal envoie au serveur de mesure d’audience, dans une phase d’initialisation, un identifiant du terminal et un identifiant du panéliste. Le serveur de mesure d’audience enregistre le terminal comme un terminal panéliste et stocke une association entre l’identifiant du terminal et l’identifiant du panéliste. Dans une phase d’utilisation, le terminal envoie au serveur de mesure d’audience des messages contenant les informations de consommation (contenant ellesmêmes l’identifiant du terminal et l’identifiant du logo détecté). Pour chaque information reçue, le serveur de mesure d’audience sait (grâce à l’association préalablement stockée) à quel panéliste associer l’identifiant du logo détecté, et il en conclut qu’il y a eu un « contact » entre ce panéliste et l’éditeur de contenus associé à ce logo. Par « contact », on entend la consommation d’un contenu de cet éditeur.

Dans le cas d’un terminal partagé par plusieurs membres du foyer (par exemple un ordinateur ou une tablette), le terminal envoie au serveur de mesure d’audience, dans une phase d’initialisation, un identifiant du terminal, avec un couple login/mot de passe du foyer. Le serveur de mesure d’audience enregistre le terminal comme un terminal panéliste et stocke une association entre l’identifiant du terminal et l’identifiant du foyer. Il envoie l’identifiant du foyer au terminal. Dans une phase d’utilisation, une application de déclaration (exécutée par le terminal) fait apparaître une fenêtre avec la liste des membres du foyer à chaque démarrage, ouverture de session ou sortie de veille. Pour cela, l’application de déclaration interroge préalablement le serveur de mesure d’audience avec l’identifiant du foyer et reçoit en retour la liste des membres du foyer. Chacune des personnes présentes indique sa présence devant le terminal en cochant par exemple une case correspondant à son prénom (ou une case « invité » pour une personne non répertoriée comme membre du foyer). Le terminal envoie au serveur de mesure d’audience un message de déclaration contenant une liste de panéliste(s) déclaré(s) via l’application de déclaration, ainsi que l’identifiant du terminal. Le terminal envoie également au serveur de mesure d’audience des messages contenant les informations de consommation (contenant elles-mêmes l’identifiant du terminal et l’identifiant du logo détecté). Pour chaque information reçue, le serveur de mesure d’audience sait (grâce à l’association préalablement stockée) quelle liste de panéliste(s) déclaré(s) est la liste courante au moment de la réception du message, et donc à quel(s) panéliste(s) associer l’identifiant du logo détecté, et il en conclut qu’il y a eu un « contact » entre ce(s) panéliste(s) et l’éditeur de contenus associé à ce logo.

Dans le mode de réalisation décrit plus haut en relation avec la figure 2, bien que le nombre de capture d’écran soit réduit au minimum et que l’algorithme de détection de logo soit basé sur des opérations simples, il y a de nombreux traitements à effectuer ce qui peut ralentir le fonctionnement du terminal et affecter son autonomie en tirant du courant sur la batterie.

Une première solution à ce problème consiste à stocker les images capturées ou des données issues des étapes intermédiaires de l’algorithme (par exemple les zones candidates ou encore les descripteurs de ces zones candidates) afin de réaliser les étapes les plus intensives de l’algorithme en temps différé, lorsque le terminal est en veille, ou mieux, lorsqu’il est en charge sur le secteur. A cet effet, le terminal comprend un module 10 effectuant le stockage des images capturées ou des données issues des étapes intermédiaires et le déport temporel du traitement des données stockées jusqu’à une mise en veille ou en charge du terminal.

En fonction de la mémoire et de la puissance de calcul disponible sur le terminal, une deuxième solution à ce problème est d’envoyer au back-office 2 des données issues des étapes intermédiaires de l’algorithme (par exemple les zones candidates ou encore les descripteurs de ces zones candidates) de façon à déporter dans le back-office une ou plusieurs des étapes de calcul intensives, sans pour autant prendre le risque d’exposer des données sensibles comme l’intégralité ou même une portion d’une capture d’écran.

Un exemple d’implémentation de cette deuxième solution est illustré sur la figure 3, qui présente un système selon un deuxième mode de réalisation de l’invention. Le terminal 1 envoie au back-office 2 la liste des descripteurs calculés sur les zones candidates. Les opérations de rapprochement (matching) et in fine de calcul des homographies seraient alors intégralement réalisées au back-Office où la base des logos 13 et la base des descripteurs de référence 15 sont stockées.

En d’autres termes, le deuxième mode de réalisation de la figure 3 se distingue du premier mode de réalisation de la figure 2 en ce que les éléments 13 à 17 sont compris dans le back-office 2 et non pas dans le terminal 1.

On présente maintenant, en relation avec la figure 4, un système selon un troisième mode de réalisation de l’invention. Il se distingue du premier mode de réalisation de la figure 2 en ce que les éléments 12 à 17 sont remplacés par un dispositif de réseau neuronal (aussi appelé réseau de neurones) 40 (configuré pour identifier un logo le plus probable pour la ou chaque zone candidate) et un module de décision finale 41 (qui, comme le module 17 de la figure 2, envoie au serveur de mesure d’audience 3 l’information de consommation 18 contenant l’identifiant du terminal et l’identifiant du logo détecté).

Cette autre approche algorithmique est basée sur de l’apprentissage machine (machine learning) qui consiste à entraîner un réseau de neurones (par exemple de type perceptron multi-couches) avec des logos de référence à détecter.

Lors de la phase d’apprentissage, effectuée côté back-office 2 avec un dispositif de réseau neuronal de référence (non représenté), la couche de neurones en entrée reçoit les pixels d’imagettes contenant chacune un logo de référence. Avec un algorithme comme la rétro-propagation du gradient, le dispositif de réseau neuronal de référence est entraîné pour coder l’identifiant du logo sur la couche de neurones de sortie. Cette phase d’apprentissage étant faite au back-office, les poids synaptiques sont ensuite téléchargés dans le terminal pour paramétrer le dispositif de réseau neuronal 40 embarqué dans le terminal. Ce prétraitement est par exemple réitéré périodiquement, pour tenir compte de l’évolution de la base de logos.

De la même façon qu’avec l’algorithme détaillé précédemment (voir figure 2), les captures d’écran sont traitées dans le terminal par le module 11 pour isoler des zones candidates pouvant contenir des logos. Les pixels de ces zones candidates sont présentés sur la couche d’entrée du dispositif de réseau neuronal 40, lequel est amené à propager les informations vers la couche de sortie désignant l’identifiant du logo le plus probable.

La figure 6 présente un exemple de structure d'une entité 70, pouvant être le terminal 1 ou un équipement du back-office 2 (serveur de mesure d’audience 3 ou autre équipement d’infrastructure du mesureur d’audience ; voir la description de la figure 1) impliqué dans la solution proposée et dont différents modes de réalisation sont décrits ci-dessus (en relation avec les figures 1 à 4 notamment).

Cette entité 70 comprend une mémoire vive 72 (par exemple une mémoire RAM), une unité de traitement 71, équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire morte 73 (par exemple une mémoire ROM ou un disque dur). A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire vive 72 avant d'être exécutées par le processeur de l'unité de traitement 71.

Cette figure 6 illustre seulement une manière particulière, parmi plusieurs possibles, de réaliser les différents algorithmes détaillés ci-dessus, en relation avec les figures 1 à 6B. En effet, la technique de l’invention se réalise indifféremment :

• sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d’instructions, ou • sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un AS IC, ou tout autre module matériel).

Dans le cas où l’invention est implantée sur une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d’instructions) pourra être stocké dans un médium de stockage amovible (tel que par exemple une disquette, un CD-ROM ou un DVD-ROM) ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur.

Claims (16)

1. REVENDICATIONS

   1. Système de mesure d’audience centrée-utilisateur, comprenant au moins un serveur de mesure d’audience (3) configuré pour mesurer une consommation de contenus sur un réseau informatique par un terminal (1) associé à au moins un panéliste, au moins certains des contenus étant proposés par des éditeurs associés chacun à au moins un logo (13), caractérisé en ce qu’il comprend :

   des moyens (7) de capture, compris dans ou placés sur ou à proximité du terminal, et configurés pour capturer au moins une image affichée par un écran du terminal ; des moyens d’analyse d’image, comprenant :

   * dans le terminal : des moyens (11) de détection, au sein de ladite au moins une image capturée, d’au moins une zone candidate susceptible de contenir un des logos ;

   * dans le terminal (1) et/ou dans au moins un équipement d’infrastructure (2) et/ou dans ledit au moins un serveur de mesure d’audience (3) :

   - des moyens (12 à 17) d’analyse de zone, configurés pour détecter si un des logos est présent dans ladite au moins une zone candidate et dans l’affirmative fournir un identifiant du logo détecté ;

   - des moyens (17) de génération d’une information de consommation contenant un identifiant du terminal et l’identifiant du logo détecté ; et dans ledit au moins un serveur de mesure d’audience, des moyens d’association de ladite information de consommation avec ledit au moins un panéliste.
2. 2. Système selon la revendication 1, caractérisé en ce que les moyens de capture comprennent, au sein du terminal, un module de capture d’écran (7) réalisé de façon matérielle et/ou logicielle.
3. 3. Système selon la revendication 2, caractérisé en ce que le terminal comprend un module de mesure de trafic (5), configuré pour activer le module de capture d’écran :

   en cas de détection d’un lancement de l’exécution par le terminal d’une application mobile dont le trafic ne peut pas être mesuré par le module de mesure de trafic ; et/ou en cas de détection d’un lancement de l’exécution par le terminal d’un navigateur permettant d’accéder à des pages mobiles accélérées.
4. 4. Système selon la revendication 2 ou 3, caractérisé en ce que le terminal comprend un module de suivi d’interaction (6b), configuré pour activer le module de capture d’écran en cas de détection d’une interaction dudit au moins un panéliste avec le terminal susceptible de changer un contexte affiché sur l’écran du terminal.
5. 5. Système selon la revendication 1, caractérisé en ce que les moyens de capture comprennent un dispositif de prise de vues (9), de type caméra ou appareil photographique, externe au terminal.
6. 6. Système selon la revendication 1, caractérisé en ce que les moyens de capture comprennent au moins un film transparent (8), configuré pour être placé contre un écran du terminal, conducteur si l’écran du terminal est tactile, et comprenant ou coopérant avec un réseau de photo-détecteurs.
7. 7. Système selon l’une quelconque des revendications 1 à 6, caractérisé en ce que le terminal comprend :

   des moyens (10) de stockage de données appartenant au groupe comprenant :

   * ladite au moins une image capturée ;

   * ladite au moins une zone candidate ; et * de résultats intermédiaires résultant de traitements intermédiaires exécutés les moyens d’analyse de zone ; et des moyens (10) de déport temporel du traitement des données stockées, par les moyens de détection de ladite au moins une zone candidate et/ou les moyens d’analyse de zone, jusqu’à une mise en veille ou en charge du terminal.
8. 8. Système selon l’une quelconque des revendications 1 à 7, caractérisé en ce que les contenus sont des contenus de type texte et/ou image lus par un navigateur exécuté par le terminal ou par une application mobile exécutée par le terminal.
9. 9. Système selon l’une quelconque des revendications 1 à 8, caractérisé en ce que le terminal comprend l’intégralité des moyens d’analyse de zone, ainsi que les moyens de génération de l’information de consommation.
10. 10. Système selon l’une quelconque des revendications 1 à 8, caractérisé en ce que le terminal comprend une première partie des moyens d’analyse de zone, permettant d’effectuer au moins un traitement intermédiaire générant un résultat intermédiaire, et en ce que ledit au moins un équipement d’infrastructure et/ou ledit au moins un serveur de mesure d’audience comprend une deuxième partie des moyens d’analyse de zone, permettant d’effectuer au moins un traitement final recevant ledit résultat intermédiaire et générant ledit résultat d’analyse, ainsi que les moyens de génération de l’information de consommation.
11. 11. Système selon l’une quelconque des revendications 1 à 8, caractérisé en ce que ledit au moins un équipement d’infrastructure et/ou ledit au moins un serveur de mesure d’audience comprend l’intégralité des moyens d’analyse de zone, ainsi que les moyens de génération de l’information de consommation.
12. 12. Système selon l’une quelconque des revendications 1 à 11, caractérisé en ce que les moyens (11) de détection de ladite au moins une zone candidate comprennent :

    des moyens de détection de contours et de caractéristiques géométriques pour au moins une zone de ladite au moins une image capturée ; et des moyens de sélection permettant, en fonction des contours et des caractéristiques géométriques calculées, de ne conserver que la ou les zones susceptibles de contenir un des logos.
13. 13. Système selon l’une quelconque des revendications 1 à 12, caractérisé en ce que les moyens d’analyse de zone comprennent :

    des moyens (12) d’extraction de descripteurs, pour la ou chaque zone candidate ;

    des moyens (16) de comparaison, pour la ou chaque zone candidate, entre les descripteurs extraits et des descripteurs de référence (15) obtenus avec les logos associés aux éditeurs ;

    des moyens (17) de décision, configurés pour décider, en fonction d’informations de comparaison fournies par les moyens de comparaison, si la ou chaque zone candidate contient un des logos et dans l’affirmative quel est le logo détecté ; et des moyens (17) de sélection, activés si une décision positive de présence de logo est prise pour au moins deux zones candidates, et configurés pour sélectionner un logo parmi plusieurs logos détectés.
14. 14. Système selon la revendication 13, caractérisé en ce que les moyens de décision comprennent des moyens de calcul, pour la ou chaque zone candidate, d’une taille du logo détecté, et des moyens de tri permettant de conserver ou non le logo détecté en fonction de la taille du logo détecté.
15. 15. Système selon l’une quelconque des revendications 1 à 12, caractérisé en ce que les moyens d’analyse de zone comprennent un dispositif de réseau neuronal (40) configuré pour identifier un logo le plus probable pour la ou chaque zone candidate.
16. 16. Procédé de mesure d’audience centrée-utilisateur, mis en œuvre dans un système comprenant au moins un serveur de mesure d’audience (3) configuré pour mesurer une consommation de contenus sur un réseau informatique par un terminal (1) associé à au moins un panéliste, au moins certains des contenus étant proposés par des éditeurs associés chacun à au moins un logo (13), caractérisé en ce qu’il comprend :

    une capture (SI), par un moyen de capture compris dans ou placés sur ou à proximité du terminal, d’au moins une image affichée par un écran du terminal ; une analyse d’image, comprenant :

    * dans le terminal, une détection (S2), au sein de ladite au moins une image capturée, d’au moins une zone candidate susceptible de contenir un des logos ;

    * dans le terminal et/ou dans au moins un équipement d’infrastructure et/ou dans ledit au moins un serveur de mesure d’audience :

    - une analyse de zone (S3), pour détecter si un des logos est présent dans ladite au moins une zone candidate et dans l’affirmative fournir un identifiant du logo détecté ; et

    - une génération (S4) d’une information de consommation contenant un identifiant du terminal et l’identifiant du logo détecté ; et dans ledit au moins un serveur de mesure d’audience, une association (S5) de ladite information de consommation avec ledit au moins un panéliste.