FR3125664A1 - Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé - Google Patents
Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé Download PDFInfo
- Publication number
- FR3125664A1 FR3125664A1 FR2108023A FR2108023A FR3125664A1 FR 3125664 A1 FR3125664 A1 FR 3125664A1 FR 2108023 A FR2108023 A FR 2108023A FR 2108023 A FR2108023 A FR 2108023A FR 3125664 A1 FR3125664 A1 FR 3125664A1
- Authority
- FR
- France
- Prior art keywords
- media
- segment
- type
- segments
- statistical model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013179 statistical model Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 239000000969 carrier Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé L’invention concerne un procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit procédé comprenant les étapes suivantes : - obtention (S310) de paires de médias associés, chaque paire (400) comprenant un média du premier type et un média du deuxième type, - obtention (S320) d’un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments associés, - pour chaque segment du premier ensemble, détermination (S330) d’une caractéristique décrivant le contenu dudit segment, - application des caractéristiques des segments d’un deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné (S350) en modifiant le modèle statistique en fonction de la projection obtenue. Figure pour l’abrégé : Fig. 3.
Description
La présente invention se rapporte au domaine général de la recommandation d’un média tel qu’un média audio ou un média vidéo. L’invention concerne plus précisément un procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type.
L’invention s’applique notamment à la recommandation d’un média de type audio à partir d’un média de type vidéo, ou à la recommandation d’un média de type vidéo à partir d’un média de type audio, par exemple dans un contexte de montage vidéo automatique, de génération de clip musical, de recommandation de musique ou encore de supervision musicale professionnelle.
Il existe des techniques permettant de recommander, parmi une pluralité de médias d’un même type appartenant à une base de données, le média correspondant au mieux à un média d’un autre type. De telles techniques permettent ainsi de recommander à partir d’une pluralité de médias audio, le média audio correspondant au mieux à un média vidéo donné, ou de recommander à partir d’une pluralité de médias vidéo, le média vidéo correspondant au mieux à un média audio donné.
Une de ces techniques, s’inspirant de l’expérience humaine quotidienne, utilise un réseau de neurones artificiels dont l’apprentissage est auto-supervisé (« self supervised », en terminologie anglo-saxonne), et est réalisé à partir d’une base de données comprenant de nombreux clips vidéo non étiquetés, chaque clip vidéo comprenant une composante vidéo et une composante audio synchronisées.
Plus précisément, les composantes vidéo et audio des clips de la base de données sont appliquées en entrée du réseau de neurones, chaque composante étant présentée dans son intégralité. Le réseau de neurones est entraîné de sorte à ce qu’il apprenne à associer les composantes audio et vidéo d’un même clip et à distinguer les composantes audio et vidéo provenant de clips différents. Le réseau de neurones entraîné peut ainsi être utilisé pour effectuer des recommandations.
Cependant, une telle technique manque de fiabilité et de précision dans des recommandations ultérieures de médias.
La présente invention concerne un procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type,
ledit procédé comprenant les étapes suivantes :
- obtention d’une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type,
- obtention d’un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon au moins un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire,
- pour chaque segment du premier ensemble de segments, détermination d’une caractéristique décrivant le contenu dudit segment,
- obtention d’un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble.
ledit procédé comprenant les étapes suivantes :
- obtention d’une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type,
- obtention d’un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon au moins un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire,
- pour chaque segment du premier ensemble de segments, détermination d’une caractéristique décrivant le contenu dudit segment,
- obtention d’un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble.
L’entraînement du modèle statistique utilisant des segments homogènes de médias, le procédé permet d’améliore la fiabilité et la précision d’une recommandation ultérieure d’un média.
Dans un mode de réalisation particulier, l’entraînement est autosupervisé.
Dans un mode de réalisation particulier, deux segments du média du deuxième type du premier ensemble de segments sont de durée différente.
Dans un mode de réalisation particulier, le modèle statistique est un réseau de neurones, le réseau de neurones étant modifié en modifiant au moins un poids dudit réseau de neurones.
Dans un mode de réalisation particulier, le média du premier type et le média du deuxième type de chaque paire de médias associés sont de même durée et synchronisés.
Dans un mode de réalisation particulier, le média du premier type de chaque paire est un média de type vidéo et le média du deuxième type de chaque paire est un média de type audio.
Dans un mode de réalisation particulier, l’étape d’obtention d’un premier ensemble de segments comprend, pour le média du deuxième type de chaque paire :
- un découpage temporel du média en sous segments,
- pour chaque sous-segment obtenu, obtention d’un attribut fréquentiel dudit sous-segment,
- utilisation des sous segments adjacents ayant des attributs homogènes pour obtenir la pluralité de segments dudit média et une liste de repères temporels indiquant les frontières entre les segments,
le média du premier type de ladite au moins une paire étant divisé selon la liste de repères temporels obtenue, chaque segment du média du premier type étant associé au segment du média du deuxième type ayant les même frontières.
- un découpage temporel du média en sous segments,
- pour chaque sous-segment obtenu, obtention d’un attribut fréquentiel dudit sous-segment,
- utilisation des sous segments adjacents ayant des attributs homogènes pour obtenir la pluralité de segments dudit média et une liste de repères temporels indiquant les frontières entre les segments,
le média du premier type de ladite au moins une paire étant divisé selon la liste de repères temporels obtenue, chaque segment du média du premier type étant associé au segment du média du deuxième type ayant les même frontières.
Dans un mode de réalisation particulier, la détermination de caractéristiques décrivant le contenu de chaque segment comprend :
- pour chaque média de chaque paire, découpage temporel du média en parties successives et disjointes,
- pour chaque partie, obtention d’une caractéristique décrivant le contenu de ladite partie ,
- pour chaque segment du premier ensemble de segments, détermination de la caractéristique dudit segment à partir des caractéristiques des parties étant majoritairement contenues temporellement dans ledit segment.
- pour chaque média de chaque paire, découpage temporel du média en parties successives et disjointes,
- pour chaque partie, obtention d’une caractéristique décrivant le contenu de ladite partie ,
- pour chaque segment du premier ensemble de segments, détermination de la caractéristique dudit segment à partir des caractéristiques des parties étant majoritairement contenues temporellement dans ledit segment.
Dans un mode de réalisation particulier, chaque caractéristique décrivant le contenu d’une partie prend la forme d’un vecteur de données, la caractéristique de chaque segment du premier ensemble de segments étant déterminée en agrégeant les vecteurs de données des parties contenues temporellement dans ledit segment au moyen de calculs statistiques.
Dans un mode de réalisation particulier, les étapes d’obtention d’un deuxième ensemble de segments associés, d’application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique et de modification du modèle statistique en fonction de la projection obtenue sont réitérées au moins une fois.
L’invention concerne de plus un système d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type,
ledit système comprenant :
- un premier module d’obtention configuré pour obtenir une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type,
- un deuxième module d’obtention configuré pour obtenir un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire,
- un module de détermination configuré pour déterminer, pour chaque segment du premier ensemble de segments, une caractéristique décrivant le contenu dudit segment,
- un troisième module d’obtention configuré pour obtenir un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et appliquer les caractéristiques des segments du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble.
ledit système comprenant :
- un premier module d’obtention configuré pour obtenir une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type,
- un deuxième module d’obtention configuré pour obtenir un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire,
- un module de détermination configuré pour déterminer, pour chaque segment du premier ensemble de segments, une caractéristique décrivant le contenu dudit segment,
- un troisième module d’obtention configuré pour obtenir un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et appliquer les caractéristiques des segments du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble.
L’invention concerne en outre un modèle statistique entraîné par le procédé d’entraînement tel que décrit ci-dessus.
De plus, l’invention concerne un dispositif électronique comprenant un modèle statistique tel que décrit ci-dessus.
En outre, l’invention concerne un procédé d’utilisation du modèle statistique entraîné tel que décrit ci-dessus, comprenant les étapes suivantes :
- obtention d’un média du premier type, appelé média requête ,
- obtention d’une pluralité de segments en divisant temporellement ledit média requête, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- obtention d’un ensemble de médias du deuxième type, et, pour chaque média dudit ensemble, obtention d’une pluralité de segments en divisant temporellement ledit média selon le critère d’homogénéité, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- application des caractéristiques des segments du média requête et des caractéristiques des segments des médias de l’ensemble de médias du deuxième type en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
- pour chaque média de l’ensemble de médias du deuxième type, détermination d’un coût d’alignement à partie de la projection obtenue, entre ledit média du deuxième type et le média requête,
- recommandation d’au moins un média de l’ensemble de médias du deuxième type en fonction des coûts d’alignement déterminés.
- obtention d’un média du premier type, appelé média requête ,
- obtention d’une pluralité de segments en divisant temporellement ledit média requête, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- obtention d’un ensemble de médias du deuxième type, et, pour chaque média dudit ensemble, obtention d’une pluralité de segments en divisant temporellement ledit média selon le critère d’homogénéité, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- application des caractéristiques des segments du média requête et des caractéristiques des segments des médias de l’ensemble de médias du deuxième type en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
- pour chaque média de l’ensemble de médias du deuxième type, détermination d’un coût d’alignement à partie de la projection obtenue, entre ledit média du deuxième type et le média requête,
- recommandation d’au moins un média de l’ensemble de médias du deuxième type en fonction des coûts d’alignement déterminés.
Dans un mode particulier de réalisation, les différentes étapes du procédé d’entraînement selon l’invention sont déterminées par des instructions de programmes d’ordinateurs.
De plus, dans un mode particulier de réalisation, les différentes étapes du procédé d’utilisation selon l’invention sont déterminées par des instructions de programmes d’ordinateurs.
En conséquence, l’invention vise aussi un premier programme d’ordinateur, sur un premier support d’informations, ce premier programme comportant des instructions adaptées à la mise en œuvre des étapes d’un procédé d’entraînement selon l'invention.
L’invention vise en outre un deuxième programme d’ordinateur, sur un deuxième support d’informations, ce deuxième programme comportant des instructions adaptées à la mise en œuvre des étapes d’un procédé d’utilisation selon l'invention.
Chacun de ces premier et deuxième programmes peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
L’invention vise aussi un premier support d'informations lisible par un ordinateur, et comportant des instructions du premier programme d'ordinateur tel que mentionné ci-dessus.
L’invention vise de plus un deuxième support d'informations lisible par un ordinateur, et comportant des instructions du deuxième programme d'ordinateur tel que mentionné ci-dessus.
Les premier et deuxième supports d'informations peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, chacun de ces supports peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur.
D'autre part, chacun de ces supports d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Chacun des programmes selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, chaque support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :
Claims (13)
- Procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type,
ledit procédé étant mis en œuvre par un système d’entraînement et comprenant les étapes suivantes :
- obtention (S310) d’une pluralité de paires (400) de médias associés, chaque paire (400) comprenant un média (410) du premier type et un média (430) du deuxième type,
- obtention (S320) d’un premier ensemble de segments associés, en divisant temporellement chaque média (410, 430) de chaque paire (400) obtenue en une pluralité de segments (614, 634) selon au moins un critère d’homogénéité, chaque segment (614) du média (410) du premier type de chaque paire (400) étant associé à un segment (634) du média (430) du deuxième type de ladite paire (400),
- pour chaque segment (614, 634) du premier ensemble de segments, détermination (S330) d’une caractéristique décrivant le contenu dudit segment (614, 634),
- obtention (S340) d’un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et application des caractéristiques des segments (614, 634) du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné (S350) en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment (614, 634) dudit premier ensemble et la projection de la caractéristique du segment (614, 634) associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment (614, 634) et la projection de la caractéristique d’un autre segment (614, 634) que le segment (614, 634) associé du premier ensemble. - Procédé d’entraînement selon la revendication 1, dans lequel l’entraînement est autosupervisé.
- Procédé d’entraînement selon la revendication 1 ou 2, dans lequel deux segments (634) du média (430) du deuxième type du premier ensemble de segments sont de durée différente.
- Procédé d’entraînement selon l’une quelconque des revendications 1 à 3, dans lequel le modèle statistique est un réseau de neurones, le réseau de neurones étant modifié en modifiant au moins un poids dudit réseau de neurones.
- Procédé d’entraînement selon l’une quelconque des revendications 1 à 4, dans lequel le média (410) du premier type et le média (430) du deuxième type de chaque paire (400) de médias associés sont de même durée et synchronisés.
- Procédé d’entraînement selon l’une quelconque des revendications 1 à 5, dans lequel l’étape (S320) d’obtention d’un premier ensemble de segments comprend, pour le média (430) du deuxième type de chaque paire (400) :
- un découpage (S322) temporel du média (430) en sous segments (532),
- pour chaque sous-segment (532) obtenu, obtention (S324) d’un attribut fréquentiel dudit sous-segment (532),
- utilisation (S326) des sous segments (532) adjacents ayant des attributs homogènes pour obtenir la pluralité de segments (634) dudit média (430) et une liste de repères temporels indiquant les frontières entre les segments (634),
le média (410) du premier type de ladite au moins une paire (400) étant divisé (S328) selon la liste de repères temporels obtenue, chaque segment (614) du média (410) du premier type étant associé au segment (634) du média (430) du deuxième type ayant les même frontières. - Procédé d’entraînement selon l’une quelconque des revendications 1 à 6, dans lequel la détermination (S330) de caractéristiques décrivant le contenu de chaque segment (614, 634) comprend :
- pour chaque média (410, 430) de chaque paire (400), découpage temporel du média (410, 430) en parties (740) successives et disjointes,
- pour chaque partie (740), obtention d’une caractéristique décrivant le contenu de ladite partie (740),
- pour chaque segment (614, 634) du premier ensemble de segments, détermination de la caractéristique dudit segment (614, 634) à partir des caractéristiques des parties (740) étant majoritairement contenues temporellement dans ledit segment (614, 634). - Procédé d’entraînement selon la revendication 7, dans lequel chaque caractéristique décrivant le contenu d’une partie (740) prend la forme d’un vecteur de données, la caractéristique de chaque segment (614, 634) du premier ensemble de segments étant déterminée en agrégeant les vecteurs de données des parties (740) contenues temporellement dans ledit segment (614, 634) au moyen de calculs statistiques.
- Procédé d’entraînement selon l’une quelconque des revendications 1 à 8, dans lequel les étapes d’obtention (S340) d’un deuxième ensemble de segments associés, d’application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique et de modification (S350) du modèle statistique en fonction de la projection obtenue sont réitérées au moins une fois.
- Système (100) d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type,
ledit système comprenant :
- un premier module d’obtention (110) configuré pour obtenir une pluralité de paires (400) de médias associés, chaque paire (400) comprenant un média (410) du premier type et un média (430) du deuxième type,
- un deuxième module d’obtention (120) configuré pour obtenir un premier ensemble de segments associés, en divisant temporellement chaque média (410, 430) de chaque paire (400) obtenue en une pluralité de segments (614, 634) selon un critère d’homogénéité, chaque segment (614) du média (410) du premier type de chaque paire (400) étant associé à un segment (630) du média (430) du deuxième type de ladite paire (400),
- un module de détermination (130) configuré pour déterminer, pour chaque segment (614, 634) du premier ensemble de segments, une caractéristique décrivant le contenu dudit segment (614, 634),
- un troisième module d’obtention (140) configuré pour obtenir un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et appliquer les caractéristiques des segments (614, 634) du deuxième ensemble en entrée du modèle statistique,
le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue,
l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment (614, 634) dudit premier ensemble et la projection de la caractéristique du segment (614, 634) associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment (614, 634) et la projection de la caractéristique d’un autre segment (614, 634) que le segment (614, 634) associé du premier ensemble. - Programme d’ordinateur (P1) comportant des instructions pour l’exécution des étapes du procédé d’entraînement selon l’une quelconque des revendications 1 à 9 lorsque ledit programme est exécuté par un ordinateur.
- Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur (P1) comprenant des instructions pour l’exécution des étapes du procédé d’entraînement selon l’une quelconque des revendications 1 à 9.
- Procédé d’utilisation d’un modèle statistique entraîné par le procédé d’entraînement selon l’une quelconque des revendications 1 à 9, comprenant les étapes suivantes :
- obtention (S810) d’un média du premier type, appelé média requête,
- obtention (S830) d’une pluralité de segments en divisant temporellement ledit média requête, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- obtention (S820) d’un ensemble de médias du deuxième type, et, pour chaque média dudit ensemble, obtention d’une pluralité de segments en divisant temporellement ledit média selon le critère d’homogénéité, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment,
- application (S850) des caractéristiques des segments du média requête et des caractéristiques des segments des médias de l’ensemble de médias du deuxième type en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun,
- pour chaque média de l’ensemble de médias du deuxième type, détermination (S860) d’un coût d’alignement à partie de la projection obtenue, entre ledit média du deuxième type et le média requête,
- recommandation (S870) d’au moins un média de l’ensemble de médias de deuxième type en fonction des coûts d’alignement déterminés.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2108023A FR3125664B1 (fr) | 2021-07-23 | 2021-07-23 | Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2108023A FR3125664B1 (fr) | 2021-07-23 | 2021-07-23 | Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé |
| FR2108023 | 2021-07-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3125664A1 true FR3125664A1 (fr) | 2023-01-27 |
| FR3125664B1 FR3125664B1 (fr) | 2024-04-19 |
Family
ID=78649368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2108023A Active FR3125664B1 (fr) | 2021-07-23 | 2021-07-23 | Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3125664B1 (fr) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100257994A1 (en) * | 2009-04-13 | 2010-10-14 | Smartsound Software, Inc. | Method and apparatus for producing audio tracks |
-
2021
- 2021-07-23 FR FR2108023A patent/FR3125664B1/fr active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100257994A1 (en) * | 2009-04-13 | 2010-10-14 | Smartsound Software, Inc. | Method and apparatus for producing audio tracks |
Non-Patent Citations (4)
| Title |
|---|
| LIN JEN-CHUN JENCHUNLIN@GMAIL COM ET AL: "Automatic Music Video Generation Based on Simultaneous Soundtrack Recommendation and Video Editing", PROCEEDINGS OF THE 25TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, ACMPUB27, NEW YORK, NY, USA, 19 October 2017 (2017-10-19), pages 519 - 527, XP058620058, ISBN: 978-1-4503-8450-6, DOI: 10.1145/3123266.3123399 * |
| PRETET LAURE ET AL: "Cross-Modal Music-Video Recommendation: A Study of Design Choices", 2021 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), IEEE, 18 July 2021 (2021-07-18), pages 1 - 9, XP033975435, DOI: 10.1109/IJCNN52387.2021.9533662 * |
| PRETET LAURE ET AL: "Video-to-Music Recommendation using Temporal Alignment of Segments", IEEE TRANSACTIONS ON MULTIMEDIA, 18 February 2022 (2022-02-18), USA, pages 1 - 1, XP055908318, ISSN: 1520-9210, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stampPDF/getPDF.jsp?tp=&arnumber=9716820&ref=aHR0cHM6Ly9pZWVleHBsb3JlLmllZWUub3JnL2RvY3VtZW50Lzk3MTY4MjA=> DOI: 10.1109/TMM.2022.3152598 * |
| SUNGEUN HONGWOOBIN IMHYUN S. YANG: "CB- VMR: Content-based video-music retrieval using soft intra-modal structure constraint", PROC. OF ICMR, YOKOHAMA, JAPAN, 2018 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3125664B1 (fr) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7136941B2 (ja) | 選択的センサポーリング | |
| JP7163253B2 (ja) | オーディオベースのデータ構造生成 | |
| US11482216B2 (en) | Modulation of packetized audio signals | |
| JP6827515B2 (ja) | ビデオ検索に対する視聴時間クラスタリング | |
| JP7044916B2 (ja) | データ送信のためのフィードバックコントローラ | |
| US11361046B2 (en) | Machine learning classification of an application link as broken or working | |
| US20180365709A1 (en) | Personalized creator recommendations | |
| US11470370B2 (en) | Crowdsourcing platform for on-demand media content creation and sharing | |
| US20220027124A1 (en) | Verifying operational statuses of agents interfacing with digital assistant applications | |
| US12106084B2 (en) | Debugging applications for delivery via an application delivery server | |
| US20230107935A1 (en) | User interfaces for refining video group packages | |
| FR3125664A1 (fr) | Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé | |
| US11157543B2 (en) | Systems and methods for generating bandwidth constrained recommendations | |
| US11385990B2 (en) | Debugging applications for delivery via an application delivery server | |
| US12114044B2 (en) | Digital video analysis | |
| US20230144326A1 (en) | Contextual smart switching via multi-modal learning mechanism | |
| Bulkan et al. | Supereye: smart advertisement insertion for online video streaming | |
| WO2008155240A2 (fr) | Procede de diffusion d'un element complementaire, serveur et terminal correspondants | |
| WO2016170288A1 (fr) | Système de création et de restitution d'un document composite. | |
| US20220300993A1 (en) | System and method for conducting a survey by a survey bot | |
| WO2016170289A1 (fr) | Terminal apte a qualifier une appreciation portee a un document multimedia | |
| FR3003966A1 (fr) | Procede d'adaptation dynamique d'un environnement logiciel execute a partir d'un terminal de communication d'un utilisateur, au cours d'une communication entre l'utilisateur et au moins un interlocuteur. | |
| FR3129800A1 (fr) | Procédés d’entraînement et d’utilisation d’un réseau de neurones artificiels pour identifier un usage numérique, et système associé | |
| FR2977337A1 (fr) | Procede et systeme de stockage reparti d'informations a gestion de ressources optimisee | |
| FR2963524A1 (fr) | Telephone mobile comportant des moyens de mise en oeuvre d'une application de jeu lors de la restitution d'une plage sonore |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |