FR3105689A1 - Analysis of multimedia content - Google Patents

Analysis of multimedia content Download PDF

Info

Publication number
FR3105689A1
FR3105689A1 FR1915321A FR1915321A FR3105689A1 FR 3105689 A1 FR3105689 A1 FR 3105689A1 FR 1915321 A FR1915321 A FR 1915321A FR 1915321 A FR1915321 A FR 1915321A FR 3105689 A1 FR3105689 A1 FR 3105689A1
Authority
FR
France
Prior art keywords
multimedia content
learning
analysis
content
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1915321A
Other languages
French (fr)
Inventor
Laurent Jean Brunel
Louis-Xavier Carbonnel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR1915321A priority Critical patent/FR3105689A1/en
Priority to PCT/FR2020/052333 priority patent/WO2021123563A1/en
Publication of FR3105689A1 publication Critical patent/FR3105689A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Abstract

TITRE : Analyse d’un contenu multimédia L’invention concerne un procédé d’analyse d’un contenu multimédia et un procédé d’apprentissage associé. Le procédé d’analyse est caractérisé en ce qu’il comporte, sur un dispositif d’analyse (DAN), les étapes suivantes : - obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia ;- obtenir (E30) un modèle d’analyse (MA) de contenus multimédia ; - analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse ;- générer une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’). fig. 3TITLE: Multimedia Content Analysis The invention relates to a method for analyzing multimedia content and an associated learning method. The analysis method is characterized in that it comprises, on an analysis device (DAN), the following steps: - obtaining (E30) a list of preferred events (EVS ') relating to multimedia content; - obtaining (E30) an analysis model (MA) of multimedia contents; - analyze (E31) a multimedia content (C) in real time using the analysis model; - generate an estimate of the presence, in the multimedia content (C), of at least one event (EV) from the list of favorite events (EVS '). fig. 3

Description

Analyse d’un contenu multimédiaAnalysis of multimedia content

Domaine de l'inventionField of the invention

L'invention se rapporte de manière générale aux télécommunications, et plus précisément à l’accès aux contenus audiovisuels. Elle s’applique plus particulièrement à des terminaux utilisateurs et à des plateformes d’apprentissage.The invention generally relates to telecommunications, and more specifically to access to audiovisual content. It applies more particularly to user terminals and learning platforms.

Il existe aujourd’hui des méthodes pour déclencher une action sur un contenu audiovisuel, par exemple un enregistrement ou un changement de visualisation du contenu (zapping). Cependant ces actions sont généralement déclenchées sur la base d’informations insérées dans le flux vidéo (aussi appelées métadonnées). Par exemple il est possible de changer de chaîne diffusée lorsqu’on atteint l’heure de diffusion théorique d’un programme, sur la base de telles métadonnées.Today, there are methods for triggering an action on audiovisual content, for example a recording or a change in the viewing of the content (zapping). However, these actions are generally triggered on the basis of information inserted into the video stream (also called metadata). For example, it is possible to change the broadcast channel when the theoretical broadcast time of a program is reached, on the basis of such metadata.

Ceci suppose cependant que ces informations soient insérées à l’avance dans le flux vidéo, ce qui est fastidieux et parfois peu efficace.However, this assumes that this information is inserted in advance into the video stream, which is tedious and sometimes inefficient.

De surcroît si un contenu est capturé et diffusé en temps réel (par exemple une chaîne de télévision en direct), il n’est pas possible de lancer des actions liées à son contenu, qui n’est pas forcément connu à l’avance.Moreover, if content is captured and broadcast in real time (for example a live television channel), it is not possible to launch actions related to its content, which is not necessarily known in advance.

Le brevet US déposé sous le numéro 12/059,618 décrit un système de notification d'événements personnalisés à l'aide d'une analyse vidéo en temps réel. Dans un mode de réalisation, un flux vidéo en direct est automatiquement surveillé et les caractéristiques du flux vidéo sont analysées par rapport à des critères qui se rapportent à un événement identifié au préalable par un utilisateur. Les critères ont trait aux caractéristiques de l'image ou de l'audio dans le flux vidéo. Si les critères sont remplis, l'utilisateur est informé que l'événement s'est produit et cette notification peut être effectuée par le biais de messages sur l'écran d'affichage vidéo (par exemple sur l'écran de télévision) ou d'autres techniques de messagerie (par exemple, SMS ou courrier électronique). Dans un exemple, les critères peuvent définir un logo particulier et l'utilisateur est averti si l'analyse détecte le logo dans le flux vidéo.US Patent No. 12/059,618 describes a personalized event notification system using real-time video analytics. In one embodiment, a live video stream is automatically monitored and characteristics of the video stream are analyzed against criteria that relate to an event previously identified by a user. The criteria relate to the characteristics of the image or audio in the video stream. If the criteria are met, the user is notified that the event has occurred and this notification can be done through messages on the video display screen (e.g. on the TV screen) or other messaging techniques (for example, SMS or e-mail). In one example, the criteria may define a particular logo and the user is notified if the analysis detects the logo in the video stream.

Cependant l’événement défini par cette méthode reste limité à la reconnaissance d’un modèle (en anglais, «pattern») contenu dans le flux audio ou vidéo. Elle se fonde sur la détection d’éléments caractéristiques prédéfinis dans la vidéo. De ce fait, cette approche ne peut estimer des événements plus complexes, comme par exemple le niveau de violence dans certains contenus. De plus, elle est souvent mise en défaut car ne pouvant prendre en compte les variations qui peuvent accompagner l’événement. De surcroît cette méthode est très complexe à mettre en œuvre pour plusieurs contenus et plusieurs événements.However, the event defined by this method remains limited to the recognition of a pattern contained in the audio or video stream. It is based on the detection of predefined characteristic elements in the video. As a result, this approach cannot estimate more complex events, such as the level of violence in certain content. In addition, it is often faulted because it cannot take into account the variations that may accompany the event. Moreover, this method is very complex to implement for several contents and several events.

L'invention vient améliorer l'état de la technique.The invention improves the state of the art.

Elle propose à cet effet un procédé d’analyse d’un contenu multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’analyse, les étapes suivantes :
- obtenir une liste d’événements préférés relatifs à des contenus multimédia;
- obtenir un modèle d’analyse de contenus multimédia;
- analyser un contenu multimédia en temps réel en utilisant le modèle d’analyse;
- générer une estimation de la présence, dans le contenu multimédia, d’un événement au moins de la liste d’évènements préférés.
To this end, it proposes a method for analyzing multimedia content, the method being characterized in that it comprises, on an analysis device, the following steps:
- obtain a list of favorite events relating to multimedia content;
- obtain a multimedia content analysis model;
- analyzing multimedia content in real time using the analysis model;
- generating an estimate of the presence, in the multimedia content, of at least one event from the list of preferred events.

Avantageusement selon l’invention, la connaissance préalable d’un contenu multimédia n’est pas nécessaire pour déclencher l’estimation de la présence d’un événement dans ce contenu. L’estimation de la présence de l’événement dépend d’une analyse en temps réel des images et des sons qui composent le contenu et non plus d’informations de description du contenu déterminées à l’avance, ni d’un motif prédéterminé à analyser dans la séquence.Advantageously according to the invention, prior knowledge of a multimedia content is not necessary to trigger the estimation of the presence of an event in this content. The estimation of the presence of the event depends on a real-time analysis of the images and sounds that make up the content and no longer on information describing the content determined in advance, nor on a predetermined pattern to analyze in sequence.

Par «contenu multimédia», on entend un contenu numérique qui contient au moins une image, un texte ou une donnée sonore. Le contenu multimédia peut être reçu en diffusion (streaming, chaîne de télévision, de radio, etc.) ou stocké sur un support (disque dur, base de données, serveur, etc.).“Multimedia content” means digital content that contains at least one image, text or sound data. The multimedia content can be received in broadcast (streaming, television channel, radio, etc.) or stored on a medium (hard disk, database, server, etc.).

Par «événement», on entend une caractéristique ou un ensemble de caractéristiques liées à l’un au moins des médias constituantle contenu; en liaison avec les exemples précédents, il peut s’agir d’une chanson, d’un acteur, d’un niveau de violence, d’un visage, etc.“Event” means a characteristic or a set of characteristics linked to at least one of the media constituting the content; in connection with the previous examples, it could be a song, an actor, a level of violence, a face, etc.

Par «analyse», on entend un procédé s’appliquant au contenu multimédia pour en déduire la présence d’un événement au moins. L’analyse peut fournir en sortie, en liaison avec les exemples précédents, une estimation de la présence de la chanson, de l’acteur, un niveau de violence d’un certain seuil, etc. Cette estimation peut être accompagnée par exemple d’une probabilité, ou d’un indice de fiabilité.By “analysis”, we mean a process applied to the multimedia content to deduce the presence of at least one event. The analysis can output, in connection with the previous examples, an estimate of the presence of the song, the actor, a level of violence of a certain threshold, etc. This estimate can be accompanied, for example, by a probability, or a reliability index.

Par analyse «en temps réel» on entend une analyse du contenu multimédia en association avec une base de temps (temps de réception pour un contenu diffusé, temps de lecture pour un contenu stocké).By "real-time" analysis is meant an analysis of the multimedia content in association with a time base (reception time for broadcast content, reading time for stored content).

Selon un premier mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci-dessus inclut en outre les étapes de :According to a first particular embodiment of the invention, a method as described above further includes the steps of:

- obtenir au moins un événement préféré d’un utilisateur au moins, relatif à un contenu multimédia ;- obtain at least one favorite event of at least one user, relating to multimedia content;

- mettre à disposition le contenu multimédia en fonction du résultat de l’estimation de la présence de l’événement préféré.- make the multimedia content available according to the result of the estimation of the presence of the preferred event.

Par «mise à disposition» on entend toute action qui informe l’utilisateur de la disponibilité du contenu multimédia: message de notification, enregistrement (sur un support qui lui est accessible), acheminement du contenu, basculement de contenu ou de chaîne, etc.By "making available" we mean any action that informs the user of the availability of multimedia content: notification message, recording (on a medium accessible to him), routing of content, switching of content or channel, etc.

Ainsi par exemple, un utilisateur pourra-t-il visualiser automatiquement un concert quand sa chanson préférée est diffusée sur une chaîne, ou disponible en streaming, ou enregistrée dans le réseau local; être automatiquement notifié d’un film dans lequel joue son acteur préféré; être informé du niveau de violence dans un film, etc. Cette invention permet donc à l’opérateur qui gère les contenus d’un utilisateur et aux personnes qui consomment le flux vidéo de ne pas être dépendants des métadonnées fournies par les chaines de télévision pour rendre ce type de service. Il suffit que l’utilisateur informe cet opérateur du ou des critères qui l’intéressent pour que le contenu multimédia soit mis à disposition du client.Thus, for example, a user will be able to automatically view a concert when his favorite song is broadcast on a channel, or available for streaming, or recorded in the local network; be automatically notified of a movie in which their favorite actor plays; being informed of the level of violence in a film, etc. This invention therefore allows the operator who manages the content of a user and the people who consume the video stream not to be dependent on the metadata provided by the television channels to provide this type of service. All the user has to do is inform this operator of the criteria that interest them for the multimedia content to be made available to the customer.

Selon un autre mode de mise en œuvre particulier de l'invention, qui pourra être mis en œuvre alternativement ou cumulativement avec le précédent, dans un procédé tel que décrit ci-dessus, le modèle d’analyse est celui d’un réseau de neurones et comporte les coefficients optimisés du réseau de neurones, et l’analyse comporte en outreune étape de:
- mettre en œuvre le réseau de neurones sur le contenu multimédia, avec les coefficients optimisés.
According to another particular embodiment of the invention, which may be implemented alternatively or cumulatively with the previous one, in a method as described above, the analysis model is that of a neural network and includes the optimized coefficients of the neural network, and the analysis further includes a step of:
- implement the neural network on the multimedia content, with the optimized coefficients.

Avantageusement selon ce mode, un réseau de neurones est utilisé pour réaliser l’analyse du contenu. De tels réseaux sont connus pour leur capacité à traiter des problèmes divers et variés. Ils permettent par ailleurs de traiter des problèmes non structurés, c'est-à-dire des problèmes sur lesquels on ne dispose d'aucune information au préalable. Le réseau de neurones peut par exemple détecter avec un certain indice de fiabilité un niveau de violence dans le contenu qui lui est soumis.Advantageously, according to this mode, a neural network is used to perform the content analysis. Such networks are known for their ability to deal with diverse and varied problems. They also make it possible to deal with unstructured problems, that is to say problems on which no information is available beforehand. The neural network can for example detect with a certain index of reliability a level of violence in the content submitted to it.

Selon une variante du premier mode de réalisation, la mise à disposition consiste à donner accès au contenu multimédia à un terminal au moins de l’utilisateur.According to a variant of the first embodiment, the provision consists in giving access to the multimedia content to at least one terminal of the user.

Avantageusement selon cette variante, si l’étape d’analyse conclut à la présence dans le contenu analysé de l’événement que l’utilisateur a signifié comme l’un de ses préférés, le contenu est rendu disponible pour l’utilisateur, notamment pour un visionnage ou un enregistrement. Le contenu pourra par exemple être acheminé (en streaming, téléchargement, diffusion, etc.) vers la passerelle domestique de l’utilisateur, pour être délivré sur son écran TV, ou enregistré sur un disque dur du réseau local, etc.Advantageously according to this variant, if the analysis step concludes with the presence in the analyzed content of the event that the user has designated as one of his favorites, the content is made available for the user, in particular for viewing or recording. The content could, for example, be routed (streaming, downloading, broadcasting, etc.) to the user's home gateway, to be delivered to their TV screen, or recorded on a hard drive on the local network, etc.

Selon une autre variante du premier mode de réalisation, qui pourra être mise en œuvre alternativement ou cumulativement avec la précédente, la mise à disposition consiste à notifier la présence du contenu, sur au moins un terminal de l’utilisateur.According to another variant of the first embodiment, which may be implemented alternatively or cumulatively with the previous one, the provision consists in notifying the presence of the content, on at least one user terminal.

Avantageusement selon cette variante, si l’étape d’analyse conclut à la présence dans le contenu analysé de l’événement que l’utilisateur a signifié comme l’un de ses préférés, une notification est transmise à l’utilisateur (par exemple via la passerelle domestique pour affichage sur l’un de ses terminaux) afin qu’il puisse réagir en conséquence (télécharger le contenu, changer de chaîne, etc.)Advantageously according to this variant, if the analysis step concludes with the presence in the analyzed content of the event that the user has signified as one of his favorites, a notification is transmitted to the user (for example via the home gateway for display on one of its terminals) so that it can react accordingly (download content, change channels, etc.)

Selon une autre caractéristique fonctionnelle, l’invention propose aussi un procédé d’apprentissage de caractéristiques de contenus multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’apprentissage les étapes de:
- acquérir une pluralité de contenus multimédia ;
- associer au moins un événement à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage ;
- générer un modèle d’analyse à partir des couples de données d’apprentissage.
According to another functional characteristic, the invention also proposes a method for learning characteristics of multimedia content, the method being characterized in that it comprises, on a learning device, the steps of:
- acquiring a plurality of multimedia content;
- associating at least one event with at least one acquired content to constitute at least one learning data pair;
- generating an analysis model from the training data pairs.

Avantageusement, l‘invention offre une méthode d’apprentissage sur plusieurs contenus multimédia susceptibles de contenir des événements d’intérêt pour des utilisateurs. Cet apprentissage peut être réalisé par exemple par un moteur d’intelligence artificielle (IA) utilisant un apprentissage supervisé. Cet apprentissage a pour but de dégager un certain nombre de caractéristiques de déclenchement, ou événements, de l’ensemble des vidéos. Une fois les contenus et les événements associés entrés dans le dispositif d’apprentissage, celui-ci génère un modèle d’analyse. Le modèle d’analyse comprend tous les éléments nécessaires pour une analyse ultérieure d’un contenu multimédia.Advantageously, the invention offers a learning method on several multimedia contents likely to contain events of interest for users. This learning can be done for example by an artificial intelligence (AI) engine using supervised learning. The purpose of this learning is to identify a certain number of triggering characteristics, or events, of all the videos. Once the contents and associated events have been entered into the learning device, it generates an analysis model. The analysis model includes all the necessary elements for a later analysis of a multimedia content.

Selon un mode de mise en œuvre particulier de l'invention, le procédé d’apprentissage utilise un réseau de neurones et l’étape de générer un modèle d’analyse consiste à entraîner le réseau de neurones par les sous-étapes suivantes:
- recevoir itérativement en entrée un couple de données d'apprentissage;
- optimiser les coefficients du réseau de neurones ;
- construire le modèle d’analyse à partir des coefficients optimisés.
According to a particular embodiment of the invention, the learning method uses a neural network and the step of generating an analysis model consists in training the neural network by the following sub-steps:
- receiving iteratively as input a pair of training data;
- optimize the coefficients of the neural network;
- build the analysis model from the optimized coefficients.

Avantageusement selon ce mode, c’est un réseau de neurones qui est utilisé pour réaliser l’apprentissage. De tels réseaux sont connus pour leur capacité à traiter des problèmes divers et variés. Ils permettent par ailleurs de traiter des problèmes non structurés, c'est-à-dire des problèmes sur lesquels on ne dispose d'aucune information au préalable. Le modèle d’analyse issu du réseau de neurones comprend notamment les coefficients optimisés du réseau de neurones, qui vont pouvoir être fournis très simplement à un dispositif d’analyse.Advantageously according to this mode, it is a neural network which is used to carry out the learning. Such networks are known for their ability to deal with diverse and varied problems. They also make it possible to deal with unstructured problems, that is to say problems on which no information is available beforehand. The analysis model resulting from the neural network notably includes the optimized coefficients of the neural network, which will be able to be provided very simply to an analysis device.

Selon une variante de ce mode de réalisation, le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité.According to a variant of this embodiment, the learning method takes into account a complexity criterion in its optimization.

Avantageusement selon cette variante, le modèle d’analyse peut être adapté au dispositif d’analyse. Si ce dernier dispose d’une puissance de calcul limité, on peut notamment envisager de réaliser un modèle peu complexe, afin qu’il puisse être mis en œuvre sur le dispositif.Advantageously according to this variant, the analysis model can be adapted to the analysis device. If the latter has limited computing power, one can in particular consider making a low-complexity model, so that it can be implemented on the device.

L'invention concerne également un dispositif d’analyse d’un contenu multimédia, comprenant une mémoire, un processeur, un module d’intelligence artificielle, un module pour acquérir un contenu multimédia, configurés pour :The invention also relates to a device for analyzing multimedia content, comprising a memory, a processor, an artificial intelligence module, a module for acquiring multimedia content, configured to:

- obtenir une liste d’événements préférés relatifs à des contenus multimédia ;- obtain a list of favorite events relating to multimedia content;

- obtenir un modèle d’analyse de contenus multimédia ;- obtain a multimedia content analysis model;

- analyser un contenu multimédia en temps réel en utilisant le modèle d’analyse ;- analyze multimedia content in real time using the analysis model;

- générer une estimation de la présence, dans le contenu multimédia, d’un événement au moins de la liste d’évènements préférés.- generate an estimate of the presence, in the multimedia content, of at least one event from the list of preferred events.

L'invention concerne également un dispositif d’apprentissage de caractéristiques de contenus multimédia comprenant une mémoire, un processeur, un module d’intelligence artificielle, un module pour acquérir un contenu multimédia, un module pour générer un modèle d’apprentissage configurés pour :The invention also relates to a device for learning characteristics of multimedia content comprising a memory, a processor, an artificial intelligence module, a module for acquiring multimedia content, a module for generating a learning model configured to:

- acquérir une pluralité de contenus multimédia ;- acquiring a plurality of multimedia content;

- associer au moins un événement à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage ;- associating at least one event with at least one acquired content to constitute at least one learning data pair;

- générer un modèle d’analyse à partir des couples de données d’apprentissage.- generate an analysis model from the training data pairs.

L'invention concerne également un serveur ou plateforme de service comprenant un dispositif d’analyse tel que décrit précédemment.The invention also relates to a server or service platform comprising an analysis device as described above.

L'invention concerne également un serveur ou plateforme de service comprenant un dispositif d’apprentissage tel que décrit précédemment.The invention also relates to a server or service platform comprising a learning device as described previously.

L'invention concerne également une passerelle domestique comportant un dispositif d’analyse tel que décrit précédemment.The invention also relates to a home gateway comprising an analysis device as described above.

L'invention concerne également un système pour analyser un contenu multimédia, comprenant :The invention also relates to a system for analyzing multimedia content, comprising:

- un dispositif d’analyse tel que décrit précédemment,- an analysis device as described above,

- un dispositif d’apprentissage tel que décrit précédemment,- a learning device as described above,

le système étant configuré de telle manière que le dispositif d’analyse reçoit le modèle d’apprentissage généré par le dispositif d’apprentissage.the system being configured in such a way that the analysis device receives the learning model generated by the learning device.

L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre de l’un des procédés ci-dessus selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Le procédé peut être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.The invention also relates to a computer program comprising instructions for the implementation of one of the above methods according to any of the particular embodiments described previously, when said program is executed by a processor. The method can be implemented in various ways, in particular in wired form or in software form. This program may use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in partially compiled form, or in any other desirable form.

L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet.The invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above. The recording media mentioned above can be any entity or device capable of storing the program. For example, the medium may comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a hard disk. On the other hand, the recording media may correspond to a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means. The programs according to the invention can in particular be downloaded from an Internet-type network.

Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.Alternatively, the recording media may correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.

Ces dispositifs, système et programme d'ordinateur présentent des caractéristiques et avantages analogues à ceux décrits précédemment en relation avec les procédés d’analyse d’un contenu et d’apprentissage de contenus.These devices, system and computer program have characteristics and advantages similar to those previously described in relation to the methods for analyzing content and learning content.

Liste des figuresList of Figures

D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels:Other characteristics and advantages of the invention will appear more clearly on reading the following description of particular embodiments, given by way of simple illustrative and non-limiting examples, and the appended drawings, among which:

La figure 1 illustre le contexte d’un mode de réalisation l’invention; Figure 1 illustrates the background of one embodiment of the invention;

La figure 2 illustre une architecture des dispositifs impliqués dans un système selon un mode de réalisation de l’invention; Figure 2 illustrates an architecture of the devices involved in a system according to one embodiment of the invention;

La figure 3 illustre des étapes d’un procédé d’apprentissage et d’analyse selon un mode de réalisation de l’invention. FIG. 3 illustrates steps of a learning and analysis method according to one embodiment of the invention.

Description d'un mode de réalisation de l'inventionDescription of an embodiment of the invention

Principe général de l'inventionGeneral principle of the invention

L'idée générale de l’invention est de s'appuyer sur une approche par apprentissage qui permet d'entrainer un module d’intelligence artificielle, par exemple un réseau de neurones, à détecter les événements d’intérêt pour un consommateur (utilisateur) de contenus multimédia. Lors de l'étape d'apprentissage, le réseau évolue pour apprendre à reconnaitre un ensemble d’événements d’intérêt dans une pluralité de contenus multimédia.The general idea of the invention is to rely on a learning approach which makes it possible to train an artificial intelligence module, for example a neural network, to detect events of interest for a consumer (user) multimedia content. During the learning step, the network evolves to learn to recognize a set of events of interest in a plurality of multimedia content.

Lors d’une étape ultérieure d’analyse, on peut réaliser une détection automatique d’événements d’intérêt contenus dans le flux audio ou vidéo associé à un nouveau contenu.During a subsequent analysis step, an automatic detection of events of interest contained in the audio or video stream associated with new content can be carried out.

Par la suite, on peut déclencher des actions relatives à ce contenu (par exemple notification, zapping ou enregistrement). Par exemple, si un utilisateur regarde la chaîne A, sachant que la chaine B diffuse un match de football, un mode de réalisation de l’invention lui permet de programmer un zapping automatique sur la chaine B lorsqu’un but est marqué, en signalant comme événement d’intérêt l’avènement d’un but. Selon un autre exemple, un utilisateur qui a précisé l’apparition d’un acteur préféré en tant qu’événement reçoit une notification lorsque l’acteur apparaît dans un contenu qu’il n’est pas en train de regarder. Selon encore un autre exemple, si un utilisateur regarde la chaîne A, sachant que la chaine B diffuse un reportage au sujet duquel il a manifesté un intérêt, un mode de réalisation de l’invention lui permet d’enregistrer automatiquement la chaine B lorsque le reportage débute.Subsequently, actions relating to this content can be triggered (for example notification, zapping or recording). For example, if a user is watching channel A, knowing that channel B is broadcasting a football match, one embodiment of the invention allows him to program an automatic zapping on channel B when a goal is scored, by signaling as an event of interest the advent of a goal. In another example, a user who has specified the appearance of a favorite actor as an event receives a notification when the actor appears in content they are not watching. According to yet another example, if a user watches channel A, knowing that channel B is broadcasting a report in which he has expressed an interest, an embodiment of the invention allows him to automatically record channel B when the report begins.

Modes particuliers de réalisation de l'invention.Particular embodiments of the invention.

Lafigure 1représente le contexte général d’un mode de réalisation l’invention, dans lequel un système de télécommunication comporte un premier réseau local ou LAN (Local Area Network, 1) et un réseau de type étendu, ou WAN (Wide Area Network, 2). Selon cet exemple non limitatif, le réseau LAN est un réseau domestique et le réseau WAN est un réseau Internet. Plus largement, un réseau LAN pourrait être un réseau d’entreprise et le réseau WAN 2 pourrait être de n’importe quel type (cellulaire, GSM - Global System for Mobile Communications, UMTS - Universal Mobile Telecommunications System, Wifi - Wireless, DVB- Digital Video Broadcast, etc.) sans sortir du cadre de l’invention. FIG. 1 represents the general context of an embodiment of the invention, in which a telecommunications system comprises a first local area network or LAN (Local Area Network, 1) and an extended type network, or WAN (Wide Area Network , 2). According to this non-limiting example, the LAN network is a home network and the WAN network is an Internet network. More broadly, a LAN network could be a corporate network and the WAN 2 network could be of any type (cellular, GSM - Global System for Mobile Communications, UMTS - Universal Mobile Telecommunications System, Wifi - Wireless, DVB- Digital Video Broadcast, etc.) without departing from the scope of the invention.

Selon cet exemple, un élément de gestion du réseau WAN; par exemple un serveur (5) d’un opérateur de télécommunications, situé par exemple en «tête de réseau», est chargé de la procédure d’apprentissage des contenus.According to this example, a WAN network management element; for example a server (5) of a telecommunications operator, located for example at the "network head", is responsible for the content learning procedure.

Selon cet exemple, un second élément de gestion du réseau (6) (une passerelle résidentielle, professionnelle, un hub, etc.) et des équipements terminaux (T1, T2) sont connectés sur le réseau local 1. Il s’agit respectivement selon l’exemple d’un smartphone (T2) et d’un téléviseur (T1). Ces terminaux sont aptes à recevoir sur le réseau local un contenu multimédia en provenance de la passerelle domestique. Ces contenus peuvent être issus du réseau local ou du réseau étendu.According to this example, a second network management element (6) (a residential or professional gateway, a hub, etc.) and terminal equipment (T1, T2) are connected to the local network 1. This is respectively according to the example of a smartphone (T2) and a television (T1). These terminals are capable of receiving multimedia content from the home gateway on the local network. This content can come from the local network or from the wide area network.

On rappelle qu’un réseau local, aussi appelé dans la suite réseau domestique, est un réseau informatique qui relie ensemble, avec ou sans fils, les équipements terminaux, ou plus simplement terminaux, d’une maison (ordinateurs, périphériques d’impression, de stockage, objets connectés, etc.), aptes à communiquer ensemble. Un réseau domestique comporte un équipement routeur, aussi communément appelé passerelle, élément intermédiaire assurant la redirection, ou routage, des paquets de données entre les différents terminaux et réseaux qui lui sont connectés. L’utilisateur d’un tel réseau peut exécuter un service donné sur un terminal donné disposant de caractéristiques propres (par exemple, visualiser un contenu multimédia C).Remember that a local area network, also called a home network in the following, is a computer network that connects together, with or without wires, the terminal equipment, or more simply terminals, of a house (computers, printing peripherals, storage, connected objects, etc.), able to communicate with each other. A home network includes router equipment, also commonly called a gateway, an intermediate element ensuring the redirection, or routing, of data packets between the various terminals and networks connected to it. The user of such a network can execute a given service on a given terminal having its own characteristics (for example, viewing multimedia content C).

Le contenu multimédia C peut être, sans perte de généralité, issu d’un réseau de type DVB, IP, etc. On rappelle qu’un réseau numérique diffusé de type DVB (acronyme de Digital Video Broadcast) dispose d’une infrastructure sous-jacente pouvant avoir pour support le satellite (SAT), la télévision numérique de terre, ou encore le câble, non représentés. Alternativement ou de manière complémentaire, les terminaux pourraient également être connectés à un réseau de type DVB-IP,aussi appelé IPTV, c’est-à-dire assurant la diffusion de télévision numérique ou la fourniture de contenus, par exemple en VOD (VidéO à la Demande) à partir du réseau Internet sous le contrôle d’un opérateur de service assurant la qualité de la délivrance (par exemple, la TV d’un opérateur, associée à un décodeur numérique et une passerelle domestique du même opérateur). Dans ces deux cas, les contenus numériques multiplexés sont reçus par un décodeur numérique, aussi appelé STB (Set Top Box) via des supports de réception appropriés (antennes, câbles, ADSL, etc.) et les différents programmes qui les constituent sont démultiplexés et décodés avant restitution par les terminaux (e.g. téléviseurs) connectés à la STB. Un tel décodeur, non représenté, peut être associé à la passerelle ou directement intégré dans le terminal. Le terminal peut aussi être prévu pour accéder aux contenus streamés à partir du WAN ou du LAN. On parle, dans ce cas, de télévision «connectée», c’est-à-dire que le terminal peut être raccordé au réseau Internet afin de fournir un ensemble de services aux utilisateurs. Si la restitution ne s’effectue pas sous le contrôle d’un opérateur de service, on parle aussi dans ce cas de contenus de type OTT, acronyme de l’appellation anglaise «Over The Top». La télévision OTT permet à un utilisateur d’un terminal connecté au réseau Internet de restituer des chaînes numériques ou des contenus Web sur le téléviseur. Généralement, ce type de terminal «connecté» s’interface avec la passerelle en charge du réseau local de l’utilisateur et accède par là à un serveur de contenus dans le réseau étendu. Enfin, un tel terminal peut accéder aux contenus depuis l’intérieur de réseau local, par exemple depuis un dispositif de streaming associé à un disque dur local (non représenté). Dans la suite, on parle indifféremment de contenu multimédia pour des contenus reçus à partir d’un réseau de diffusion (DBV, IPTV), en OTT, et/ou via un téléchargement (streaming, téléchargement de fichier, etc.)Multimedia content C can be, without loss of generality, from a DVB, IP, etc. type network. It is recalled that a broadcast digital network of the DVB type (acronym for Digital Video Broadcast) has an underlying infrastructure that may be supported by satellite (SAT), digital terrestrial television, or even cable, not shown. Alternatively or in addition, the terminals could also be connected to a DVB-IP type network, also called IPTV, that is to say ensuring the broadcasting of digital television or the supply of content, for example in VOD (Video on Demand) from the Internet network under the control of a service operator ensuring the quality of delivery (for example, an operator's TV, associated with a digital decoder and a home gateway from the same operator). In these two cases, the multiplexed digital contents are received by a digital decoder, also called STB (Set Top Box) via appropriate reception media (antennas, cables, ADSL, etc.) and the various programs which constitute them are demultiplexed and decoded before playback by the terminals (e.g. televisions) connected to the STB. Such a decoder, not shown, can be associated with the gateway or directly integrated into the terminal. The terminal can also be provided for accessing content streamed from the WAN or LAN. In this case, we speak of “connected” television, i.e. the terminal can be connected to the Internet network in order to provide a set of services to users. If the restitution is not carried out under the control of a service operator, we also speak in this case of OTT type content, an acronym for the English name “Over The Top”. OTT television allows a user of a terminal connected to the Internet network to render digital channels or Web content on the television. Generally, this type of "connected" terminal interfaces with the gateway in charge of the user's local network and thereby accesses a content server in the extended network. Finally, such a terminal can access the content from inside the local network, for example from a streaming device associated with a local hard disk (not shown). In the following, we refer indiscriminately to multimedia content for content received from a broadcast network (DBV, IPTV), in OTT, and/or via download (streaming, file download, etc.)

Dans tous ces cas de figure, on suppose que le contenu est analysé par un dispositif d’analyse de contenus, qui peut se trouver sur un serveur (5) de l’opérateur, ou sur la passerelle domestique (6), sur un terminal, ou sur tout autre équipement du réseau distant ou local apte à effectuer une telle analyse.In all these cases, it is assumed that the content is analyzed by a content analysis device, which can be located on a server (5) of the operator, or on the home gateway (6), on a terminal , or on any other equipment of the remote or local network capable of carrying out such an analysis.

Au préalable, un apprentissage a été effectué sur plusieurs contenus. Cet apprentissage s’effectue sur un dispositif d’apprentissage, qui se trouve de préférence sur un serveur (5) de l’opérateur (qui peut être différent ou non du serveur d’analyse) mais pourrait aussi être situé sur la passerelle domestique, ou sur tout autre équipement de réseau apte à réaliser un tel apprentissage.Beforehand, training was carried out on several contents. This learning takes place on a learning device, which is preferably located on a server (5) of the operator (which may or may not be different from the analysis server) but could also be located on the home gateway, or on any other network equipment capable of carrying out such learning.

Le procédé selon l’invention procède donc en deux temps, ou phases distinctes :The process according to the invention therefore proceeds in two stages, or distinct phases:

Première phase: apprentissage de caractéristiques et événementsFirst phase: learning features and events

Dans un premier temps, qui correspond à une phase dite d’apprentissage, N contenus multimédias (où N est un entier naturel) sont sélectionnés, sur lesquels faire un apprentissage de caractéristiques, ou événements, à l’aide d’un module d’intelligence artificielle. Le module d’apprentissage est capable de définir des paramètres pour permettre ensuite, à partir de n'importe quel contenu reçu, de fournir en sortie une indication de correspondance entre le contenu reçu et l’un au moins des événements traités par l'apprentissage. Par exemple une telle caractéristique est relative à la présence d’un acteur donné dans le contenu.Initially, which corresponds to a so-called learning phase, N multimedia contents (where N is a natural number) are selected, on which to learn characteristics, or events, using a module of artificial intelligence. The learning module is able to define parameters to then allow, from any content received, to output an indication of correspondence between the content received and at least one of the events processed by the learning . For example, such a characteristic relates to the presence of a given actor in the content.

Ce module est typiquement un module d’apprentissage automatique, en anglais «machine learning» (ML). On rappelle que l'apprentissage automatique, ou apprentissage statistique, concerne la conception, l'analyse, le développement et l'implémentation de méthodes permettant à une machine (au sens large) d'évoluer par un processus systématique, et ainsi de remplir des tâches difficiles ou problématiques par des moyens algorithmiques plus classiques. Un exemple possible d'apprentissage automatique est celui de la classificationdont le but est d’étiqueter chaque donnée en l'associant à une classe.This module is typically a machine learning (ML) module. It is recalled that machine learning, or statistical learning, concerns the design, analysis, development and implementation of methods allowing a machine (in the broad sense) to evolve through a systematic process, and thus to fulfill difficult or problematic tasks by more classical algorithmic means. A possible example of machine learning is that of classification, the purpose of which is to label each piece of data by associating it with a class.

Selon un mode de réalisation préféré, on utilise ici un réseau de neurones (RN). Lors de l'étape d'apprentissage, le réseau évolue pour apprendre à reconnaitre un ensemble d'éléments caractéristiques qui permettent de confirmer la présence d’un événement dans un contenu. Par exemple, si on souhaite apprendre à la machine la présence d’un acteur dans une séquence vidéo, on lui présente des films et contenus dans lesquels apparaît cet acteur en l’entraînant à retrouver toutes les séquences où il apparaît. Le même procédé peut s’appliquer pour la détection d’un but dans une séquence sportive, l’identité de l’équipe qui a marqué, la reconnaissance d’un lieu, d’une ville, certaines formes de violence dans les contenus, une chanson, etc.According to a preferred embodiment, a neural network (RN) is used here. During the learning stage, the network evolves to learn to recognize a set of characteristic elements that confirm the presence of an event in a content. For example, if we want to teach the machine the presence of an actor in a video sequence, we present it with films and content in which this actor appears by training it to find all the sequences where he appears. The same process can be applied for the detection of a goal in a sports sequence, the identity of the team which scored, the recognition of a place, a city, certain forms of violence in the contents, a song, etc.

Le module d'apprentissage fournit en sortie un «modèle» constitué d’un ensemble de données (logiciel, paramètres, coefficients optimisés du réseau de neurones, etc.). Dans la suite on appelle ce modèle «modèle d’analyse» (MA).The learning module outputs a "model" consisting of a set of data (software, parameters, optimized coefficients of the neural network, etc.). In the following, this model is called the “analysis model” (AM).

Seconde phase: analyse d’un contenuSecond phase: content analysis

Dans une seconde phase, dite d’analyse, lorsqu’un contenu est reçu (ou analysé en temps réel sur un disque dur), le programme d’analyse est mis en œuvre sur un dispositif d’analyse (DAN). Ce contenu peut être un nouveau contenu, ou un contenu qui a fait partie de l’apprentissage.In a second phase, called analysis, when content is received (or analyzed in real time on a hard disk), the analysis program is implemented on an analysis device (DAN). This content can be new content, or content that was part of the learning.

Le dispositif d’analyse hérite du modèle d’analyse(MA) fourni par le dispositif d’apprentissage.The analysis device inherits the analysis model (MA) provided by the learning device.

Selon un mode préféré de réalisation, le module d’analyse fait appel au réseau de neurones (RN), avec en entrée le modèle d’analyse et le contenu, éventuellement nouveau, destiné à être visualisé par un ou plusieurs utilisateurs du réseau local si leurs critères (préférences événementielles) sont remplis. Si le module d’analyse détecte la présence (assortie éventuellement d’un indice de fiabilité) d’un événement déclencheur, une action peut être prise relativement à la mise à disposition du contenu pour un ou plusieurs utilisateurs du réseau local. Par exemple, un utilisateur 1 du terminal T1 pourra recevoir directement le contenu puisque l’un de ses critères (présence de son acteur préféré) a été rencontré, alors qu’un utilisateur 2 du terminal T2 pourra recevoir une notification (selon laquelle le contenu C contient une séquence musicale qu’il apprécie).According to a preferred embodiment, the analysis module uses the neural network (RN), with the analysis model and the content, possibly new, as input, intended to be viewed by one or more users of the local network if their criteria (event preferences) are met. If the analysis module detects the presence (possibly accompanied by a reliability index) of a triggering event, an action can be taken with regard to the provision of the content for one or more users of the local network. For example, a user 1 of the terminal T1 will be able to receive the content directly since one of his criteria (presence of his favorite actor) has been met, whereas a user 2 of the terminal T2 will be able to receive a notification (according to which the content C contains a musical sequence that he likes).

Selon un mode de réalisation, le module d’analyse se trouve sur la passerelle domestique 6. Avantageusement dans ce cas, les préférences des utilisateurs du réseau local peuvent être prises en compte. Par exemple, les caractéristiques associées à un utilisateur sont enregistrées dans un profil relatif à cet utilisateur. Les paramètres du réseau de neurones correspondant aux caractéristiques de déclenchement peuvent avantageusement être mis en œuvre en relation avec cet utilisateur.According to one embodiment, the analysis module is located on the home gateway 6. Advantageously in this case, the preferences of the users of the local network can be taken into account. For example, the characteristics associated with a user are recorded in a profile relating to this user. The neural network parameters corresponding to the trigger characteristics can advantageously be implemented in relation to this user.

Selon un autre mode de réalisation, le module d’analyse se trouve sur un serveur/plateforme d’analyse 5 de l’opérateur. Avantageusement dans ce cas, l’analyse peut bénéficier d’une puissance de traitement supérieure, et est de surcroît centralisée. Un contenu ou une notification relative au contenu est envoyée vers la passerelle domestique dans le cas où l’un des contenus reçus par la plateforme contint un événement intéressant le réseau local de la passerelle.According to another embodiment, the analysis module is located on an analysis server/platform 5 of the operator. Advantageously in this case, the analysis can benefit from a higher processing power, and is moreover centralized. A content or a notification relating to the content is sent to the home gateway in the event that one of the contents received by the platform contains an event concerning the local network of the gateway.

Lafigure 2illustre une architecture des dispositifs impliqués dans un système selon un mode de réalisation de l’invention. Figure 2 illustrates an architecture of the devices involved in a system according to one embodiment of the invention.

Le dispositif d’apprentissage DAP possède l'architecture classique d'un ordinateur et comprend notamment une mémoire M, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PGAP stocké en mémoire M. A l'initialisation, les instructions de code du programme d'ordinateur PGAP sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre les étapes du programme d’apprentissage selon l'un quelconque de modes particuliers de réalisation décrits en relation avec les figures 1 et 2, selon les instructions du programme d'ordinateur PGAP.The learning device DAP has the conventional architecture of a computer and comprises in particular a memory M, a processing unit UT, equipped for example with a processor PROC, and controlled by the computer program PGAP stored in memory M On initialization, the code instructions of the computer program PGAP are for example loaded into a memory before being executed by the processor PROC. The processor PROC of the processing unit UT notably implements the steps of the learning program according to any one of the particular embodiments described in relation to FIGS. 1 and 2, according to the instructions of the computer program PGAP .

Le dispositif comporte aussi:The device also includes:

  • un module RN d’intelligence artificielleapte à effectuer un apprentissage automatique ;an artificial intelligence RN module capable of performing automatic learning;
  • un module MA en charge de la génération du modèle d’analyse; ce module est capable, dans un mode de réalisation, de générer un module d’analyse de complexité variable, en fonction d’un critère de complexité (imposé par le dispositif d’analyse qui mettra en œuvre le module d’analyse);an MA module in charge of generating the analysis model; this module is capable, in one embodiment, of generating an analysis module of variable complexity, according to a complexity criterion (imposed by the analysis device which will implement the analysis module);
  • un module COM1 de communication pour gérer toutes les entrées/sorties du dispositif, notamment acquérir les contenus multimédia, et transmettre le modèle d’analyse à un dispositif d’analyse s’il est distinct du dispositif d’apprentissage;a communication module COM1 for managing all the inputs/outputs of the device, in particular acquiring the multimedia contents, and transmitting the analysis model to an analysis device if it is separate from the learning device;
  • un module pour obtenir les événements à traiter, EVS, par exemple un gestionnaire de base de données ;a module for obtaining the events to be processed, EVS, for example a database manager;
  • optionnellement une base BA pour stocker les couples constitués des contenus et de leurs événements associés alimentant le module RN.optionally a base BA to store the pairs made up of the contents and their associated events supplying the module RN.

Le dispositif d’analyse DAN a l'architecture classique d’un ordinateur et comprend notamment:The DAN analysis device has the classic architecture of a computer and includes in particular:

  • une mémoire M’, une unité de traitement UT’, équipée par exemple d'un processeur PROC’, et pilotée par le programme d'ordinateur PGAN stocké en mémoire M’. A l'initialisation, les instructions de code du programme d'ordinateur PGAN d’analyse sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC’.a memory M', a processing unit UT', equipped for example with a processor PROC', and driven by the computer program PGAN stored in memory M'. On initialization, the code instructions of the analysis computer program PGAN are for example loaded into a memory before being executed by the processor PROC'.
  • Le processeur PROC’ de l'unité de traitement UT’ met notamment en œuvre les étapes du procédé d’analyse selon l'un quelconque de modes particuliers de réalisation décrits en relation avec les figures 1 et 2, selon les instructions du programme d'ordinateur PGAN. Le programme PGAN est notamment chargé de mettre en œuvre le module d’intelligence artificielle RN avec le modèle d’analyse héritée du dispositif d’apprentissage.The processor PROC' of the processing unit UT' notably implements the steps of the analysis method according to any one of the particular embodiments described in relation to FIGS. 1 and 2, according to the instructions of the program of PGAN computer. The PGAN program is notably responsible for implementing the RN artificial intelligence module with the analysis model inherited from the learning device.
  • un module RN d’intelligence artificielle;an artificial intelligence RN module;
  • un module MA en charge de l’obtention et la mise en œuvre du modèle d’analyse;an MA module in charge of obtaining and implementing the analysis model;
  • un module de communication pour gérer toutes les entrées/sorties du dispositif, notamment acquérir le contenu multimédia à analyser et le modèle d’analyse MA du dispositif d’apprentissage s’il est distinct du dispositif d’analyse;a communication module for managing all the inputs/outputs of the device, in particular acquiring the multimedia content to be analyzed and the analysis model MA of the learning device if it is separate from the analysis device;
  • un module EVS’ apte à obtenir le ou les événement(s) d’intérêt pour l’analyse.an EVS’ module capable of obtaining the event(s) of interest for the analysis.

Lafigure 3illustre des étapes du procédé de mise à disposition selon un mode de réalisation de l’invention. FIG. 3 illustrates steps of the provision method according to one embodiment of the invention.

Dans une première phase d’apprentissage P1, préalable à la mise en œuvre en temps réel du réseau de neurones RN, le procédé comporte les étapes suivantes. Le procédé est décrit pour correspondre à une pluralité d’événements (acteurs, séquence sportive incluant un tir au but, remise de coupe, film comprenant des scènes de violence extrême, etc.) correspondant par exemple à une pluralité d’utilisateurs(ensemble ou sous-ensemble des abonnés au service audiovisuel de l’opérateur, ensemble des utilisateurs de terminaux du réseau local, etc.).In a first learning phase P1, prior to the real-time implementation of the neural network RN, the method comprises the following steps. The method is described to correspond to a plurality of events (actors, sports sequence including a shot on goal, handover, film including scenes of extreme violence, etc.) corresponding for example to a plurality of users (together or subset of subscribers to the operator's audiovisual service, set of local network terminal users, etc.).

Dans une première étape E0, une initialisation du module d’apprentissage, selon cet exemple un réseau de neurones, est effectuée. Dans la description qui suit, on suppose que l’apprentissage s’effectue sur un ensemble d’événements noté EVS. L’initialisation du réseau est relative à cet ensemble d’événements. Un événement de l’ensemble peut avoir été transmis au dispositif d’apprentissage par les passerelles de service, ou être créé par l’opérateur, ou provenir d’un tiers, etc.In a first step E0, an initialization of the learning module, according to this example a neural network, is carried out. In the following description, it is assumed that the learning takes place on a set of events denoted EVS. Network initialization is relative to this set of events. An event in the set may have been transmitted to the learning device by the service gateways, or be created by the operator, or come from a third party, etc.

Dans une étape E1, le procédé acquiert une pluralité (de préférence, un volume important) de contenus numériques C0… CN, de préférence mais pas nécessairement représentatifs des événements soumis. Ces contenus peuvent être choisis par exemple par l’opérateur, manuellement ou automatiquement.In a step E1, the method acquires a plurality (preferably, a large volume) of digital contents C0…CN, preferably but not necessarily representative of the events submitted. These contents can be chosen for example by the operator, manually or automatically.

Dans une étape E2, le procédé consiste, à partir des contenus acquis dans la première étape E1 à associer (par exemple par action humaine) à chaque contenu, un type d’événement, à partir de l’ensemble des événements. L'ensemble des données correspondant aux couples (contenu, événement) peut constituer par exemple une base d'apprentissage BA.In a step E2, the method consists, from the contents acquired in the first step E1, in associating (for example by human action) with each content, a type of event, from the set of events. The set of data corresponding to the pairs (content, event) can constitute for example a learning base BA.

Dans une étape E3, dite d'apprentissage, le procédé met en œuvre l’apprentissage à proprement parler du réseau de neurones RN. Le réseau de neurones, au départ vierge, est alimenté en contenus pour le transformer jusqu’à ce qu’il soit apte à faire des analyses pertinentes pour les usagers. A cette fin, il reçoit itérativement ou successivement en entrée un couple de données (contenu, événement) provenant par exemple de la base d'apprentissage BA. On notera que la base d’apprentissage est facultative, les couples (contenus, événement) pouvant être fournis au réseau de neurones de manière itérative sans faire appel à une base de données.In a so-called learning step E3, the method implements the actual learning of the neural network RN. The neural network, initially blank, is supplied with content to transform it until it is able to perform relevant analyzes for users. To this end, it receives iteratively or successively as input a pair of data (content, event) originating for example from the learning base BA. Note that the learning base is optional, the pairs (content, event) can be provided to the neural network iteratively without using a database.

Le réseau de neurones traite les couples (contenu, événement) à chaque itération pour permettre la mise à jour des coefficients du réseau de neurones RN, jusqu'à obtenir une convergence de l'algorithme. Lorsque les performances de reconnaissance des événements sont jugées correctes, le modèle d’analyse est considéré stable, on peut donc cesser l’apprentissage. Les coefficients du réseau sont dits « figés », «convergés» ou «optimisés». Ces coefficients optimisés, ainsi que toutes les données utiles à l’implémentation ultérieure du réseau de neurones, sont stockés dans ce qu’on appelle le «module d’analyse» MA qui peut être transmis à des dispositifs d’analyse pour traiter les contenus des usagers.The neural network processes the pairs (content, event) at each iteration to allow the updating of the coefficients of the neural network RN, until convergence of the algorithm is obtained. When the event recognition performance is judged to be correct, the analysis model is considered stable, so learning can be stopped. The network coefficients are said to be “frozen”, “converged” or “optimized”. These optimized coefficients, as well as all the data useful for the subsequent implementation of the neural network, are stored in the so-called "analysis module" MA which can be transmitted to analysis devices to process the contents users.

Par exemple, le réseau de neurones s’entrainant à reconnaitre les traits du visage d’un acteur conserve dans son modèle d’apprentissage MA, à l’issue de la phase d’apprentissage, des coefficients optimisés et éventuellement des éléments d’analyse comme les traits du visage sous différents angles, tailles, qualités, etc. pour être capable de le retrouver dans n’importe quel contexte et n’importe quel contenu.For example, the neural network training to recognize the facial features of an actor retains in its learning model MA, at the end of the learning phase, optimized coefficients and possibly elements of analysis like facial features in different angles, sizes, qualities, etc. to be able to find it in any context and any content.

On notera que le réseau de neurones peut être quelconque, de tout type connu, par exemple un réseau de neurones convolutif. Pour cela, le procédé met en œuvre, par exemple, un algorithme itératif du type «algorithme du gradient» avec une approche dite par «descente du gradient» et «back-propagation », pour rechercher les coefficients du réseau de neurones RN permettant d'obtenir la meilleure performance de classification.It will be noted that the neural network can be any, of any known type, for example a convolutional neural network. For this, the method implements, for example, an iterative algorithm of the "gradient algorithm" type with an approach called "gradient descent" and "back-propagation", to search for the coefficients of the RN neural network allowing to achieve the best classification performance.

Selon un exemple, le réseau de neurones RN comporte:According to an example, the neural network RN comprises:

- une ou plusieurs couches destinées à filtrer et déterminer les éléments caractéristiques des médias du contenu (images, séquences d’images, textes et sons, ...); pour cela, il met en œuvre l'application de briques logicielles telles que:- one or more layers intended to filter and determine the characteristic elements of the media of the content (images, sequences of images, texts and sounds, ...); for this, it implements the application of software bricks such as:

  • reconnaissance de formes, mouvements, visages, sons, voix, etc.recognition of shapes, movements, faces, sounds, voices, etc.
  • estimation de la violence d’une scèneestimation of the violence of a scene
  • etc.etc

-une ou plusieurs couches connectées réalisant une classification du contenu dans un nombre limité d’événements;-one or more connected layers performing content classification in a limited number of events;

- une dernière couche utilisant une fonction permettant d'estimer les probabilités d'appartenance d’un contenu à chaque événement. Une probabilité comprise entre 0 et 1 peut être associée à chaque contenu pour un événement. Une telle probabilité peut être convertie en indice de fiabilité.- a final layer using a function to estimate the probabilities of content belonging to each event. A probability between 0 and 1 can be associated with each content for an event. Such a probability can be converted into a reliability index.

Selon une variante, la base d'apprentissage BA et/ou le modèle d’analyse peuvent être issus de bibliothèques logicielles spécialisées déjà préconstituées.According to a variant, the BA learning base and/or the analysis model can come from specialized software libraries that are already preconstituted.

Selon une variante, le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité, de manière à réaliser un compromis entre la performance et la complexité (puissance, temps, etc.) de calcul nécessaire. Il est par exemple connu de l’homme du métier que l’on peut contrôler la complexité du réseau de neurones par ajout ou élagage de cellules. On pourra donc adapter selon cet exemple le réseau à la complexité de la machine hébergeant le dispositif d’analyse utilisé (e.g. réduire le nombre de couches et/ou de cellules et/ou le type de cellules si le dispositif d’analyse dispose de capacités limitées, comme par exemple un terminal de type passerelle de réseau, un routeur, un ordinateur domestique, etc.)According to a variant, the learning method takes into account in its optimization a complexity criterion, so as to achieve a compromise between the performance and the complexity (power, time, etc.) of the calculation required. For example, it is known to those skilled in the art that the complexity of the neural network can be controlled by adding or pruning cells. According to this example, the network can therefore be adapted to the complexity of the machine hosting the analysis device used (e.g. reduce the number of layers and/or cells and/or the type of cells if the analysis device has limited, such as a network gateway terminal, router, home computer, etc.)

A l'issue de cette première phase d’apprentissage, le procédé consiste, dans une deuxième phase P2, dite d’analyse, à implémenter en temps réel le réseau de neurones RN sur le module d’analyse. Le module d’analyse est situé selon cet exemple dans la passerelle de réseau.At the end of this first learning phase, the process consists, in a second phase P2, called analysis, in implementing in real time the neural network RN on the analysis module. The analysis module is located according to this example in the network gateway.

Selon un autre mode de réalisation, elle est située dans un serveur 5 de l’opérateur de réseau.According to another embodiment, it is located in a server 5 of the network operator.

Dans une étape E30, le modèle d’analyse MA comportant notamment les coefficients optimisés du réseau de neurones, issus de l'étape d'apprentissage, est mis en œuvre sur le dispositif d’analyse. Il contrôle le réseau de neurones RN qui, à partir d’un contenu reçu par la passerelle de service (selon un autre mode de réalisation, un serveur 5 de l’opérateur de réseau), délivre une estimation fiable du type d’événement(s) présent(s) dans le contenu, en temps réel.In a step E30, the analysis model MA comprising in particular the optimized coefficients of the neural network, resulting from the learning step, is implemented on the analysis device. It controls the neural network RN which, based on content received by the service gateway (according to another embodiment, a server 5 of the network operator), delivers a reliable estimate of the type of event ( s) present in the content, in real time.

Dans une étape E31, si l’événement a été détecté dans le contenu avec une fiabilité suffisamment élevée, par exemple si l’indice de fiabilité est supérieur à un seuil donné, une action de mise à disposition peut être menée: envoi du contenu vers un terminal (ou vers une passerelle si le module d’analyse se trouve dans le réseau), notification, enregistrement, etc.In a step E31, if the event has been detected in the content with a sufficiently high reliability, for example if the reliability index is greater than a given threshold, a provision action can be carried out: sending the content to a terminal (or to a gateway if the analysis module is in the network), notification, recording, etc.

A titre d’exemple, le contenu peut être visualisé par l’utilisateur dans une étape E21.By way of example, the content can be viewed by the user in a step E21.

Il va de soi que le mode de réalisation qui a été décrit ci-dessus a été donné à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l’homme de l’art sans pour autant sortir du cadre de l’invention.It goes without saying that the embodiment which has been described above has been given purely as an indication and in no way limiting, and that many modifications can be easily made by those skilled in the art without departing from the scope. of the invention.

Notamment, le réseau de neurone peut être remplacé par tout module d’intelligence artificielle apte à remplir les mêmes fonctions: apprentissage automatique par arbres de décision, méthodes statistiques, régression logistique, analyse discriminante linéaire, algorithmes génétiques, etc.In particular, the neural network can be replaced by any artificial intelligence module capable of performing the same functions: automatic learning by decision trees, statistical methods, logistic regression, linear discriminant analysis, genetic algorithms, etc.

Claims (15)

Procédé d’analyse d’un contenu multimédia (C), le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’analyse (DAN), les étapes suivantes :
- obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia;
- obtenir (E30) un modèle d’analyse (MA) de contenus multimédia;
- analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse;
- générer (E31) une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’).
Method for analyzing multimedia content (C), the method being characterized in that it comprises, on an analysis device (DAN), the following steps:
- obtaining (E30) a list of preferred events (EVS') relating to multimedia content;
- obtaining (E30) an analysis model (MA) of multimedia contents;
- analyzing (E31) a multimedia content (C) in real time using the analysis model;
- generating (E31) an estimate of the presence, in the multimedia content (C), of at least one event (EV) from the list of preferred events (EVS').
Procédé d’analyse d’un contenu multimédia selon la revendication 1, caractérisé en ce qu’il comporte en outre les étapes de :
- obtenir (E10) au moins un événement préféré (EVF) d’un utilisateur au moins, relatif à un contenu multimédia;
- mettre à disposition (E32) le contenu multimédia en fonction du résultat de l’estimation de la présence de l’événement préféré.
Method for analyzing multimedia content according to claim 1, characterized in that it further comprises the steps of:
- obtaining (E10) at least one preferred event (EVF) of at least one user, relating to a multimedia content;
- making available (E32) the multimedia content according to the result of the estimation of the presence of the preferred event.
Procédé d’analyse d’un contenu multimédia selon la revendication 1, caractérisé en ce que le modèle d’analyse est celui d’un réseau de neurones (RN) et comporte les coefficients optimisés du réseau de neurones, et en ce que en ce que l’analyse comporte en outreune étape de:
- mettre en œuvre le réseau de neurones sur le contenu multimédia(C), avec les coefficients optimisés.
Process for analyzing multimedia content according to Claim 1, characterized in that the analysis model is that of a neural network (RN) and comprises the optimized coefficients of the neural network, and in that in that the analysis further includes a step of:
- implement the neural network on the multimedia content (C), with the optimized coefficients.
Procédé d’analyse d’un contenu multimédia selon la revendication 2, caractérisé en ce que la mise à disposition consiste donner accès au contenu multimédia à un terminal (T1) au moins de l’utilisateur.Process for analyzing multimedia content according to Claim 2, characterized in that the provision consists in giving access to the multimedia content to at least one terminal (T1) of the user. Procédé d’analyse d’un contenu multimédia selon la revendication 2, caractérisé en ce que la mise à disposition consiste à notifier la présence du contenu, sur au moins un terminal (T2) de l’utilisateur.Process for analyzing multimedia content according to Claim 2, characterized in that the provision consists in notifying the presence of the content, on at least one terminal (T2) of the user. Procédé d’apprentissage de caractéristiques de contenus multimédia, le procédé étant caractérisé en ce qu’il comporte, sur un dispositif d’apprentissage (DAP) les étapes de:
- acquérir (E1) une pluralité de contenus multimédia(C0…CN) ;
- associer (E2) au moins un événement (EV) à au moins un contenu acquis (C) pour constituer au moins un couple de données d’apprentissage (EV, C);
- générer un modèle d’analyse (MA) à partir des couples de données d’apprentissage (EV, C).
Method for learning characteristics of multimedia content, the method being characterized in that it comprises, on a learning device (DAP), the steps of:
- acquiring (E1) a plurality of multimedia contents (C0…CN);
- associating (E2) at least one event (EV) with at least one acquired content (C) to constitute at least one learning data pair (EV, C);
- generating an analysis model (MA) from the training data pairs (EV, C).
Procédé d’apprentissage de caractéristiques de contenus multimédia selon la revendication 6, caractérisé en ce que le procédé d’apprentissage utilise un réseau de neurones (RN) et en ce que l’étape de générer un modèle d’analyse consiste à entraîner le réseau de neurones (RN) par les sous-étapes suivantes:
- recevoir itérativement en entrée un couple de données (C, EV) d'apprentissage ;
- optimiser les coefficients du réseau de neurones (RN) ;
- construire le modèle d’analyse (MA) à partir des coefficients optimisés.
Method for learning characteristics of multimedia contents according to claim 6, characterized in that the learning method uses a neural network (RN) and in that the step of generating an analysis model consists in training the network of neurons (RN) by the following sub-steps:
- receiving iteratively as input a pair of training data (C, EV);
- optimize the coefficients of the neural network (RN);
- build the analysis model (MA) from the optimized coefficients.
Procédé d’apprentissage de caractéristiques de contenus multimédia selon la revendication 6 ou 7, caractérisé en ce que le procédé d’apprentissage prend en compte dans son optimisation un critère de complexité.Method for learning characteristics of multimedia content according to claim 6 or 7, characterized in that the learning method takes into account in its optimization a criterion of complexity. Dispositif (DAN) d’analyse d’un contenu multimédia, comprenant une mémoire (M’) , un processeur (PROC’), un module d’intelligence artificielle (RN), un module pour acquérir un contenu multimédia (COM2), configurés pour:
-obtenir (E30) une liste d’événements préférés (EVS’) relatifs à des contenus multimédia;
- obtenir (E30) un modèle d’analyse (MA) de contenus multimédia;
- analyser (E31) un contenu multimédia (C) en temps réel en utilisant le modèle d’analyse;
- générer une estimation de la présence, dans le contenu multimédia (C), d’un événement au moins (EV) de la liste d’évènements préférés (EVS’).
Device (DAN) for analyzing multimedia content, comprising a memory (M'), a processor (PROC'), an artificial intelligence module (RN), a module for acquiring multimedia content (COM2), configured For:
-obtaining (E30) a list of preferred events (EVS') relating to multimedia content;
- obtaining (E30) an analysis model (MA) of multimedia contents;
- analyzing (E31) a multimedia content (C) in real time using the analysis model;
- generating an estimate of the presence, in the multimedia content (C), of at least one event (EV) from the list of preferred events (EVS').
Dispositif d’apprentissage (DAP) de caractéristiques de contenus multimédia comprenant une mémoire (M),un processeur (PROC), un module d’intelligence artificielle (RN), un module pour acquérir un contenu multimédia (COM1), un module pour générer un modèle d’apprentissage (MA) configurés pour:
- acquérir (E1) une pluralité de contenus multimédia(C0…CN);
- associer (E2) au moins un événement (EV) à au moins un contenu acquis pour constituer au moins un couple de données d’apprentissage (EV, C);
- générer un modèle d’analyse (MA) à partir des couples (EV, C) de données d’apprentissage.
Learning device (DAP) of multimedia content characteristics comprising a memory (M), a processor (PROC), an artificial intelligence module (RN), a module for acquiring multimedia content (COM1), a module for generating a learning model (MA) configured for:
- acquiring (E1) a plurality of multimedia contents (C0…CN);
- associating (E2) at least one event (EV) with at least one acquired content to constitute at least one learning data pair (EV, C);
- generating an analysis model (MA) from the pairs (EV, C) of learning data.
Serveur ou plateforme de service comprenant un dispositif d’analyse selon la revendication 9.Server or service platform comprising an analysis device according to claim 9. Serveur ou plateforme de service comprenant un dispositif d’apprentissage selon la revendication 10.Server or service platform comprising a learning device according to claim 10. Passerelle domestique comportant un dispositif d’analyse selon la revendication 9.Home gateway comprising an analysis device according to claim 9. Système pour analyser un contenu multimédia, comprenant:
- un dispositif d’analyse selon la revendication 9 et
- un dispositif d’apprentissage selon la revendication 10,
le système étant configuré de telle manière que le dispositif d’analyse reçoit le modèle d’apprentissage généré par le dispositif d’apprentissage.
System for analyzing multimedia content, comprising:
- an analysis device according to claim 9 and
- a learning device according to claim 10,
the system being configured such that the analysis device receives the learning model generated by the learning device.
Programme d’ordinateur apte à être mis en œuvre sur un dispositif tel que défini dans la revendication 9 ou 10, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini selon l’une des revendications 1 à 5 ou 6 à 8.Computer program capable of being implemented on a device as defined in claim 9 or 10, the program comprising code instructions which, when the program is executed by a processor, carry out the steps of the method defined according to one of claims 1 to 5 or 6 to 8.
FR1915321A 2019-12-20 2019-12-20 Analysis of multimedia content Withdrawn FR3105689A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1915321A FR3105689A1 (en) 2019-12-20 2019-12-20 Analysis of multimedia content
PCT/FR2020/052333 WO2021123563A1 (en) 2019-12-20 2020-12-08 Multimedia content analysis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1915321 2019-12-20
FR1915321A FR3105689A1 (en) 2019-12-20 2019-12-20 Analysis of multimedia content

Publications (1)

Publication Number Publication Date
FR3105689A1 true FR3105689A1 (en) 2021-06-25

Family

ID=70008787

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1915321A Withdrawn FR3105689A1 (en) 2019-12-20 2019-12-20 Analysis of multimedia content

Country Status (2)

Country Link
FR (1) FR3105689A1 (en)
WO (1) WO2021123563A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961808A (en) 1993-05-14 1999-10-05 Kiyokawa Mekki Kougyo Co., Ltd. Metal film resistor having fuse function and method for producing the same
US20020147782A1 (en) * 2001-03-30 2002-10-10 Koninklijke Philips Electronics N.V. System for parental control in video programs based on multimedia content information
US20140156744A1 (en) * 2012-11-30 2014-06-05 Ming Hua Updating features based on user actions in online systems
US20150312604A1 (en) * 2014-04-28 2015-10-29 Rovi Guides, Inc. Methods and systems for preventing a user from terminating services based on a consumption rate of the user

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410344A (en) * 1993-09-22 1995-04-25 Arrowsmith Technologies, Inc. Apparatus and method of selecting video programs based on viewers' preferences
EP1099340A1 (en) * 1998-07-17 2001-05-16 United Video Properties, Inc. Television system with aided user program searching
US10212243B2 (en) * 2015-03-13 2019-02-19 Oath Inc. Future event detection and notification
US10609453B2 (en) * 2017-02-21 2020-03-31 The Directv Group, Inc. Customized recommendations of multimedia content streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961808A (en) 1993-05-14 1999-10-05 Kiyokawa Mekki Kougyo Co., Ltd. Metal film resistor having fuse function and method for producing the same
US20020147782A1 (en) * 2001-03-30 2002-10-10 Koninklijke Philips Electronics N.V. System for parental control in video programs based on multimedia content information
US20140156744A1 (en) * 2012-11-30 2014-06-05 Ming Hua Updating features based on user actions in online systems
US20150312604A1 (en) * 2014-04-28 2015-10-29 Rovi Guides, Inc. Methods and systems for preventing a user from terminating services based on a consumption rate of the user

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VALENTINA ALTO: "Neural Networks: parameters, hyperparameters and optimization strategies", 5 July 2019 (2019-07-05), XP055696949, Retrieved from the Internet <URL:https://towardsdatascience.com/neural-networks-parameters-hyperparameters-and-optimization-strategies-3f0842fac0a5> [retrieved on 20200519] *

Also Published As

Publication number Publication date
WO2021123563A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
FR2874472A1 (en) METHOD, ARTICLE OF PRODUCTION AND DEVICE FOR UPDATING SOFTWARE IN AN INDIVIDUAL DEVICE
EP1862009A2 (en) Method of sending a command to a digital data flow server and apparatus used to implement said method
WO2012010780A1 (en) Method for planning television program recordings for a user
FR2893470A1 (en) METHOD AND DEVICE FOR CREATING A VIDEO SEQUENCE REPRESENTATIVE OF A DIGITAL VIDEO SEQUENCE AND METHODS AND DEVICES FOR TRANSMITTING AND RECEIVING VIDEO DATA THEREOF
EP4161081A1 (en) Method for generating a personalized television channel for a user of a terminal configured to access at least one audiovisual content broadcasting service, corresponding device, service equipment, system and computer program.
FR3105689A1 (en) Analysis of multimedia content
WO2012085432A1 (en) Method and device for digital data communication
WO2019220034A1 (en) Management of adaptive progressive download of a digital content within a restoration terminal of a local communication network
EP1182878A1 (en) Communication system, transmitter, receiver, method using a data storage descriptor
WO2018114108A1 (en) Method of recording a forthcoming telebroadcast program
WO2017158274A1 (en) Acquisition of extracts of a multimedia stream on a terminal
WO2021089942A1 (en) Method for managing zapping of digital multimedia contents obtained by http adaptive streaming (has), and corresponding management device, multimedia stream reader and computer program
EP4035408A1 (en) Management of adaptive streaming of an item of digital content over a mobile network with selection of a maximum authorized encoding rate on the basis of a data bucket
EP3987820A1 (en) Method for managing adaptive progressive downloading (has) of digital content which is broadcast in real time, corresponding administrator, multimedia stream player terminal and computer program
WO2023208688A1 (en) Management of the rendering of an item of multimedia content
WO2017064400A1 (en) Contextual enrichment by audio recognition
WO2016170288A1 (en) System for creating and reproducing a composite document
EP4254968A1 (en) Method for generating a virtual television channel for a user of at least one audiovisual content broadcast service, corresponding generation device, service equipment and computer program
EP4109905A1 (en) Management of the adaptive progressive downloading of digital content in screen saver mode
WO2020201148A1 (en) Method for modifying multimedia content
EP3840391A1 (en) Management of the reproduction of multimedia content and a navigation interface on a screen
FR3093605A1 (en) A method of accelerated browsing of digital content obtained by adaptive progressive download (HAS), manager, media player and corresponding computer program.
FR3128084A1 (en) method for managing the playback of multimedia content.
FR3093603A1 (en) A method of accelerated browsing of digital content obtained by adaptive progressive download (HAS), manager, media player and corresponding computer program.
EP1886238A1 (en) Analysis and classification of a multimedia flux in a homogeneous sequences

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210625

ST Notification of lapse

Effective date: 20220808